[Spark2.0]ML 调优：模型选择和超参数调优

最新推荐文章于 2024-05-26 12:01:14 发布
最新推荐文章于 2024-05-26 12:01:14 发布
阅读量7.1k 收藏 2
点赞数 1
分类专栏： spark 文章标签： Spark 官网文档 调优 模型选择

        本节讲述如何使用MLlib提供的工具来对ML算法和Pipline进行调优。内建的交叉验证和其他工具允许用户在算法和Pipline中优化超参数。

 

 

模型选择（又名超参数调优）

       在ML中一个重要的任务就是模型选择，或者使用给定的数据为给定的任务寻找最适合的模型或参数。这也叫做调优。调优可以是对单个的Estimator，比如LogisticRegression，或者是包含多个算法、向量化和其他步骤的整个Pipline。用户可以一次性对整个Pipline进行调优，而不必对Pipline中的每一个元素进行单独的调优。

       MLlib支持使用像CrossValidator和TrainValidationSplit这样的工具进行模型选择。这些工具需要以下的组件：

  • Estimator：用户调优的算法或Pipline
  • ParamMap集合：提供参数选择，有时也叫作用户查找的“参数网格”
  • Evaluator：衡量模型在测试数据上的拟合程度

      

在上层，这些模型选择工具的工作方式如下：

  • 将输入数据切分成训练数据集和测试数据集
  • 对于每一个（训练数据，测试数据）对，通过ParamMap集合进行迭代：
    • 对于每个ParamMap，使用它提供的参数对Estimator进行拟合，给出拟合模型，然后使用Evaluator来评估模型的性能
  • 选择表现最好的参数集合生成的模型

 

       针对回归问题，Evaluator可以是一个RegressionEvaluator；针对二进制数据，可以是BinaryClassificationEvaluator，或者是对于对分类问题的MulticlassClassificationEvaluator。用于选择最佳ParamMap的默认度量方式可以通过评估器的setMetricName方法进行覆盖。

       为了方便构造参数网格，用户可以使用通用的ParamGridBuilder。

 

 

交叉验证

       CrossValidator 从将数据集切分成K折数据集合，并被分别用于训练和测试，例如，K=3折时，CrossValidator会生成3个（训练数据，测试数据）对，每一个数据对的训练数据占2/3，测试数据占1/3。为了评估一个ParamMap，CrossValidator 会计算这三个不同的（训练，测试）数据集对在Estimator拟合出的模型上的平均评估指标。

       在找出最好的ParamMap后，CrossValidator 会使用这个ParamMap和整个的数据集来重新拟合Estimator。

 

示例：使用交叉验证进行模型选择

       下面示例示范了使用CrossValidator从整个网格的参数中选择合适的参数。

       注意在整个参数网格中进行交叉验证是比较耗时的。例如，在下面的例子中，参数网格有3个hashingTF.numFeatures值和2个lr.regParam值，CrossValidator使用2折切分数据。最终将有(3 * 2) * 2 = 12个不同的模型将被训练。在真实场景中，很可能使用更多的参数和进行更多折切分（k=3和k=10都很常见）。换句话说，使用CrossValidator的代价可能会异常的高。然而，对比启发式的手动调优，这是选择参数的行之有效的方法。

计算机生成了可选文字:|0apache. spark. ml . Pi pel i ne i mport i mport i mport org. org. org. org. org. org. org. apache. spark. ml . cl assifi cation. Logi sti cRegression apache. spark. ml . eval uati on. Bi assifi cati onEvaI uator apache. spark. ml . feature. {HashingTF, Tokenizer} apache. spark. ml . i g. Vector apache. spark. ml . tuni ng. {CrossVaI i dator, ParamGri dBui I der} apache. spark. sql . Row // Prepare training data from a list of Cid, text , 7abe7) tup les. val training = spark. (OL, "a b cd e spark", 1.0), (IL, "b d", 0.0), "spark f g h", 1.0), , "hadoop mapreduce", 0.0), (41_, "b spark who", 1.0), "g d a y", 0.0), "spark fly", 1.0), 'was mapreduce", 0.0), 'e spark program", 1.0), "a ec I", 0.0), COL, ' 'spark compile", 1.0), (11 L , "hadoop software", 0.0) "text", "label // Configure an ML pipeline, which consists of three stages: val tokeni zer = new Tokenizer() . setlnputCoI ("text") . setoutputCoI ("words") val hashingTF = new HashingTF() . setlnputCoI (tokeni zer . getOutputCoI) . setoutputCoI ("features") val r = new Logisti cRegressionO . setMaxIter (10) val pipeline = new Pipeline() . hashingTF, token i zer , hash ing F, and Jr.

计算机生成了可选文字:|0// We use a ParamGrid8ui 7der to construct a grid of parameters to search over. // With 3 values for hashingrF. numFeatures and 2 values for Ir. regParam, // this grid wi 77 have 3 x 2 = 6 parameter settings for CrossWa7idator to choose from. val paramGrid = new ParamGri I der() . addGrid(hashingTF. numFeatures, Array(IO, 100, 1000)) . addGrid(Ir.regParam, Array(O.I, 0.01)) . bui // We now treat the Pipeline as an Estimator, wrapping it in a CrossWa7idator instance. // This wi 77 a 770B' us to jointly choose parameters for a? 7 Pipeline stages. // .4 CrossWa7idator requires an Estimator, a set of Estimator Parangaps, and an Evaluator. // Note that the evaluator here is a BinaryC7assificationEva7uator and its default metric // is areaUnderROC. val cv = new CrossVaIi dator() . setEstimator (pi pel ine) . setEvaIuator (new Bi naryCI assifi cati onEvaI uator) . setEst imatorparan#aps (par i d) . setNumFoIds (2) // Use in practice // Run cross-validation, and choose the best set of parameters. 'probabi lity", "prediction") val cvModeI = cv.fit(training) // Prepare test documents, which are unlabeled Cid, val test = spark. "spark i j "mapreduce spark") , 'apache hadoop") cvMode 7 us es text) tup 7 es. the best mode 7 found (7rMode 7). id " ", "text") // Make predictions on test documents. cvModeI . transform(test) . select ("id", ' . foreach { case Row(id: Long, text: String, prob: Vector, prediction : Double) print In (s" (Sid, Stext) prob=Sprob, prediction=Sprediction")

      可以在Spark仓库的"examples/src/main/scala/org/apache/spark/examples/ml/ModelSelectionViaCrossValidationExample.scala"找到完整的代码。

 

 

训练-验证切分

       作为CrossValidator 的附加，Spark就同样为超参数调优提供了TrainValidationSplit。相对于CrossValidator的K次评估，TrainValidationSplit只对每个参数组合评估一次。因此它的评估代价没有这么高，但是当训练数据集不够大的时候其结果相对不够可信。

       不同于CrossValidator，TrainValidationSplit创建单一的（训练，测试）数据集对。它使用trainRatio参数将数据集切分成两部分。例如，当设置trainRatio=0.75时，TrainValidationSplit将会将数据切分75%作为数据集，25%作为验证集，来生成训练、测试集对。

       与CrossValidator相似，TrainValidationSplit最终使用最好的ParamMap和完整的数据集来拟合Estimator。

 

示例：通过训练/验证切分选择模型

计算机生成了可选文字:|0i mport i mport i mport org. org. org. apache. spark. ml . eva luati on . Regress i onEva luator apache. spark. ml . regressi on . Li nearRegress i on apache. spark. ml . tuning. {paramGri dBui Ider, Trainvalidationsplit} // Prepare tra in ing and test data. val data spark . read . format("l i bsvm") . 1 1 i b/sampl e _ 1 i near _ regressi on_data. txt") val Array(training, test) = data. randomsp1it(Array(O.9, 0.1), seed 12345) val Ir — new LinearRegression() // We use a paramGridBui7der to construct a grid of parameters to search over. // Trainvalidationsplit will try all combinations of values and determine best model using // the evaluator. val paramGrid = new paramGridBui1der() .addGrid(1r. regParam, Array(O.1, 0.01)) . addGri r . fi tlntercept) .addGrid(1r.e1asticNetparam, Array(O.O, 0.5, . build() 1.0)) // In this case the estimator is simply the linear regression. // A Trainvalidationsplit requires an Estimator, a set of Estimator ParanVaps, val trainvalidationsplit — new Trainvalidationsplit() . setEstimator(1 r) . setEva1uator(new RegressionEva1uator) . setEstimatorparamMaps (paramGri d) and an Evaluator. // of the data will be used for training and the remaining for validation. . setTrai nRati 0(0.8) // Run train validation split, and choose the best set of parameters. val model — trainvalidationsplit.fit(training) // Make predictions on test data. model is the model with combination of parameters // that performed best. model . transform(test) . sel " , . show() "label ", "prediction")

可以在Spark仓库的"examples/src/main/scala/org/apache/spark/examples/ml/ModelSelectionViaTrainValidationSplitExample.scala"找到完整的代码。



原文地址：http://spark.apache.org/docs/2.0.0/ml-tuning.html

yhao浩
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SparkMLlib之五：优化
岸芷汀兰
01-13 688
数学描述梯度下降梯度下降和随即梯度下降这样的一阶优化问题非常适合大规模分布式运算，计算梯度时需要对所有参数求导，但是当凸函数不是对所有参数都可导时，次梯度sub-gradient就是梯度的推广，计算它需要遍历整个数据集。随机梯度下降随机次梯度是一个随机选择的向量，使得我们得到原目标函数真正次梯度的期望。
ML优化方法
ckdfadeaway的博客
04-07 123
https://www.cnblogs.com/bymo/p/9522355.html
Keras深度学习框架第二十七讲：KerasTuner超参数优化基础
最新发布
MUKAMO的博客
05-26 1209
使用Keras Tuner进行模型训练时，首先安装并导入Keras Tuner。然后定义模型构建函数，该函数基于超参数hp构建模型。实例化Tuner类（如RandomSearch），并传入模型构建函数、训练数据、验证数据等参数。使用search方法进行超参数搜索。搜索完成后，通过get_best_models获取最佳模型。最后，评估并保存模型。整个流程简化了模型训练中的超参数调优步骤，使寻找最优超参数组合更为高效。
ML优化拉格朗日与KKT
窗外临街
03-16 615
拉格朗日乘子法拉格朗日乘子法（Lagrange multipliers）是一种寻找多元函数在一组约束下的极值的方法。通过引入拉格朗日乘子，可将有dd个变量与kk个约束条件的最优化问题转化为具有d+kd+k个变量的无约束优化问题求解基本的拉格朗日乘子法就是求函数f(x1,x2,...)f(x_1,x_2,...)在g(x1,x2,...)=0g(x_1,x_2,...)=0的约束条件下的极值的方法。主
ml 最优化算法总结
Zhou_Dao的博客
07-17 241
https://blog.csdn.net/SIGAI_CSDN/article/details/81979837 提供大纲
ML中常见的几种最优化方法
qq_38330846的博客
05-05 3580
阅读目录1. 梯度下降法（Gradient Descent）2. 牛顿法和拟牛顿法（Newton's method & Quasi-Newton Methods）3. 共轭梯度法（Conjugate Gradient）4. 启发式优化方法 5. 解决约束优化问题——拉格朗日乘数法　　我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成...
spark2.0-examples:Spark 2.0的示例
04-14
Spark 2.0版本的示例。 建造 sbt clean package
Spark性能优化：shuffle调优
01-29
但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基本原则，千万不要舍本逐末...
Spark3.0 调优参数 思维导图
11-09
Spark3.0 调优参数 思维导图，包含Spark, Spark Sql, Hadoop等参数
Spark性能优化：数据倾斜调优
02-26
继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以...
【第1&2章】ML基础和监督学习算法（附sklearn花式调参）
发现问题，并解决问题，批判性思维
09-07 1303
学习心得 （1）scikit-learn 依赖于另外两个 Python 包：NumPy 和 SciPy。若想绘图和进行交互式开发，还应该安装 matplotlib、IPython 和 Jupyter Notebook。 （2）如果不熟悉 NumPy 或 matplotlib，推荐阅读 SciPy 讲稿（http://www.scipy-lectures.org/）的第1章 （3）《python机器学习基础》代码：https://github.com/amueller/introduction_to_ml_w
ML算法基础——分类模型评估与调参
muguangjingkong的博客
05-31 881
文章目录一、分类模型评估1.准确率2.精确率和召回率2.1 混淆矩阵2.2 精确率(Precision)与召回率(Recall)2.3 分类模型评估API2.4 贝叶斯模型评估实例二、模型的选择与调优1、交叉验证2、网格搜索2.1 超参数搜索-网格搜索API2.2 knn实例测试网格搜索 一、分类模型评估 1.准确率 estimator.score() 一般最常见使用的是准确率，即预测结果正确的百分比 2.精确率和召回率 2.1 混淆矩阵 在分类任务下，预测结果(Predicted Condition)与正
SparkMLlib核心概念
互联网知识分享
05-17 286
通信的角度讲，如果使用MapReduce计算框架，JobTracker和TaskTracker之间通过hearbeat的方式传递数据，会导致非常慢的执行速度。而Spark基于内存的计算模型，天生擅长迭代计算，每个步骤可以直接在内存中完成，只有在必要时，才会操作磁盘、网络。（1）MLlib 是 Spark 的机器学习库，旨在简化机器学习的工程实践工作，并方便扩展到更大规模。计算的过程，机器学习的计算需要在多次迭代后，获得足够小的误差才会停止。提供MLlib机器学习库，它提供了常用的机器学习算法的分布式实现。
python中lowerright_《Python机器学习》笔记（六）
weixin_39842937的博客
12-08 410
模型评估与参数调优实战基于流水线的工作流一个方便使用的工具：scikit-learn中的Pipline类。它使得我们可以拟合出包含任意多个处理步骤的模型，并将模型用于新数据的预测。加载威斯康星乳腺癌数据集1.使用pandas从UCI网站直接读取数据集import pandas aspddf=pd.read_csv('https://archive.ics.uci.edu/ml/machine-le...
常用ML方法及参数
浮汐潇潇
08-31 1750
1.SVM Sklearn.svm.SVC参数设置 Sklearn.svm.SVC(C=1.0, kernel=’rbf’, degree=3, gamma=’auto’, coef0=0.0, shrinking=True, probability=False,tol=0.001, cache_size=200, class_weight=None, verbose=False, max_ite...
python做逻辑斯蒂二分类_用二项逻辑斯蒂回归解决二分类问题
weixin_39621669的博客
12-21 550
逻辑斯蒂回归:逻辑斯蒂回归是统计学习中的经典分类方法，属于对数线性模型。logistic回归的因变量可以是二分类的，也可以是多分类的基本原理logistic 分布折X是连续的随机变量，X服从logistic分布是指X具有下列分布函数和密度函数: 其中为位置参数，为形状参数。与图像如下，其中分布函数是以为中心对阵，越小曲线变化越快二项logistic回归模型；二项logistic回归模型如下: 其中...
spark之常见的机器学习算法
霜叶的博客
10-05 3099
1、分类、回归、聚类 分类回归是一种重要的机器学习和数据挖掘技术。分类的目的是根据数据集的特点构造一个分类函数或分类模型(也常常称作分类器)，该模型能把未知类别的样本映射到给定类别中的一种技术。 即： 向量X=[x1,x2...xn]但标签C=[c1,c2...,ck]的映射F(W,X)=C 聚类是一种无监督学习的方法，将无标签数据聚类到不同的簇中 spark.ml支持的分类与回归算法 2、常见算法实例介绍 2.1、逻辑回归： 2.1.1、逻辑斯蒂分布 2.1.2、二项LR：
Python3：Python+spark编程实战 总结
热门推荐
proplume的博客
04-08 5万+
不宜妄自菲薄，引喻失义。 0、前提 0.1 配置 可参考： windows上配置 Python+spark开发环境 0.2 有关spark 说明： spark 不兼容 Python3.6 安装注意版本 可下载： anaconda4.2 一、实例分析 1.1 数据 student.txt 1.2 代码 #studentExample 例子 ...
spark 常用函数介绍（python）
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
05-17 6502
RDD RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，同时可以被并行处理。因此，Spark应用程序所做的无非是把需要处理的数据转换为RDD，然后对RDD进行一系列的变换和操作从而得到结果。 创建RDD： sc.par...
藏经阁-Apache Spark 2.0 Performance I.pdf
08-29
Luca Canali, a database engineer and team lead at CERN IT, conducted an investigation into the performance improvements of Apache Spark 2.0 using flame graphs. With 16 years of experience in database ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值