GBDT 用于分类和回归的spark示例

最新推荐文章于 2021-03-01 20:23:21 发布
最新推荐文章于 2021-03-01 20:23:21 发布
阅读量576 收藏
点赞数

0?wx_fmt=jpeg


0?wx_fmt=jpeg





GBDT是推荐系统中应用非常广泛的算法。

GBDT 是由决策树集成而来的，这种算法不断地迭代式训练决策树算法，目标是最小化损失函数。跟决策树类似，GBDT能够捕捉到非线性特征，也能发掘特征交互作用。

spark.mllib 支持GBDT的二分类问题和回归问题，spark.mllib中的GBDT是基于决策树来实现的，能够处理连续性和离散性的特征。


基本算法

GBDT 迭代式训练一系列决策树，每次迭代中，算法利用当前的集成算法来预测每个训练样本的标签，然后跟真实的标签相比较。为了重点关注预测效果较差的训练样本，数据集会被重打标签。所以，在下次迭代中，决策树能够有助于纠正之前的分错样本相应的预测。

重打标签的具体机制是由误差函数定义的。每次迭代中，GBDT 都能够减小训练集上的误差函数。


误差函数

下表给出了spark.mllib中GBDT支持的目标函数（损失函数），需要注意的是，每个目标函数要么适用于分类问题，要么适用于回归问题，并不是都适用的。

0?wx_fmt=png


使用建议

下面给出了几个使用GBDT的建议，

  • loss: 目标函数。不同的目标函数适用不同的问题，比如分类或回归。不同的误差函数可能给出差别很大的最终结果，这依赖于数据集。

  • numIterations: 迭代次数。这个参数设置了集成算法中决策树的个数。每次迭代都会生成一棵决策树，增加迭代次数可以增加模型的表达能力，提高训练集上的准确率，然而，如果迭代次数过多，测试集上的准确率可能会降低 。

  • learningRate: 学习率。这个参数不需要调节，如果算法不稳定，减小学习率可能会提高稳定性。

  • algo: 算法。算法或任务（分类或回归）。


训练时的验证

GBDT 中树的个数较多时，可能会过拟合。为了防止过拟合，通常需要训练时加以验证。GBDT 中提供的的 runWithValidation 方法可以用来验证效果。需要一对 RDD 作为参数，第一个是训练集，第二个是验证集。

训练结束的条件是验证误差的提升量不超过某个限定值，这个限定值即为BoostingStrategy中的validationTol。实际问题中，验证误差会先减小后增大。验证误差不是单调变化的，用户可以设置一个足够大的负限定值，然后利用 evaluationEachIteration 来检测验证曲线，进而调节训练次数，其中evalutionnEachIteration 表示每次迭代中的误差或损失。


示例


分类问题

示例中给出了如何加载  LIBSVM data file，然后将其解析成LabeledPoint RDD，然后利用GBDT来分类，其中目标函数是对数误差，测试误差用来衡量算法的准确率。


API细节可以参考 GradientBoostedTrees  docs 和 GradientBoostedTreesModel docs 。.


Scala 代码如下


import org.apache.spark.mllib.tree.GradientBoostedTrees

import org.apache.spark.mllib.tree.configuration.BoostingStrategy

import org.apache.spark.mllib.tree.model.GradientBoostedTreesModel

import org.apache.spark.mllib.util.MLUtils

// Load and parse the data file.

val data = MLUtils.loadLibSVMFile(sc, "data/mllib/sample_libsvm_data.txt")

// Split the data into training and test sets (30% held out for testing)

val splits = data.randomSplit(Array(0.7, 0.3))

val (trainingData, testData) = (splits(0), splits(1))

// Train a GradientBoostedTrees model.

// The defaultParams for Classification use LogLoss by default.

val boostingStrategy = BoostingStrategy.defaultParams("Classification")

boostingStrategy.numIterations = 3 // Note: Use more iterations in practice.

boostingStrategy.treeStrategy.numClasses = 2

boostingStrategy.treeStrategy.maxDepth = 5

// Empty categoricalFeaturesInfo indicates all features are continuous.

boostingStrategy.treeStrategy.categoricalFeaturesInfo = Map[Int, Int]()

val model = GradientBoostedTrees.train(trainingData, boostingStrategy)

// Evaluate model on test instances and compute test error

val labelAndPreds = testData.map { point =>
  val prediction = model.predict(point.features)
  (point.label, prediction)}

val testErr = labelAndPreds.filter(r => r._1 != r._2).count.toDouble / testData.count()

println("Test Error = " + testErr)

println("Learned classification GBT model:\n" + model.toDebugString)

// Save and load model

model.save(sc, "target/tmp/myGradientBoostingClassificationModel")

val sameModel = GradientBoostedTreesModel.load(sc,
  "target/tmp/myGradientBoostingClassificationModel")

完整代码可以参考spark repo中的"examples/src/main/scala/org/apache/spark/examples/mllib/GradientBoostingClassificationExample.scala" 。


python 代码如下


from pyspark.mllib.tree import GradientBoostedTrees, GradientBoostedTreesModel

from pyspark.mllib.util import MLUtils

# Load and parse the data file.

data = MLUtils.loadLibSVMFile(sc, "data/mllib/sample_libsvm_data.txt")

# Split the data into training and test sets (30% held out for testing)

(trainingData, testData) = data.randomSplit([0.7, 0.3])

# Train a GradientBoostedTrees model.

#  Notes: (a) Empty categoricalFeaturesInfo indicates all features are continuous.

#         (b) Use more iterations in practice.

model = GradientBoostedTrees.trainClassifier(trainingData,
                                             categoricalFeaturesInfo={}, numIterations=3)

# Evaluate model on test instances and compute test error

predictions = model.predict(testData.map(lambda x: x.features))l
abelsAndPredictions = testData.map(lambda lp: lp.label).zip(predictions)

testErr = labelsAndPredictions.filter(lambda (v, p): v != p).count() / float(testData.count())

print('Test Error = ' + str(testErr))

print('Learned classification GBT model:')

print(model.toDebugString())

# Save and load model

model.save(sc, "target/tmp/myGradientBoostingClassificationModel")

sameModel = GradientBoostedTreesModel.load(sc,
                                           "target/tmp/myGradientBoostingClassificationModel")

完整代码可以参考spark repo中的 "examples/src/main/python/mllib/gradient_boosting_classification_example.py" 。



完整代码

回归问题

下面给出了如何加载，将其解析成 LabeledPoint RDD，然后用GBDT来实现回归，其中目标函数是均方误差，均方误差用来衡量拟合的好坏。


API细节可以参考 GradientBoostedTrees docs 和 GradientBoostedTreesModel docs

Scala 代码如下

import org.apache.spark.mllib.tree.GradientBoostedTrees

import org.apache.spark.mllib.tree.configuration.BoostingStrategy

import org.apache.spark.mllib.tree.model.GradientBoostedTreesModel

import org.apache.spark.mllib.util.MLUtils

// Load and parse the data file.

val data = MLUtils.loadLibSVMFile(sc, "data/mllib/sample_libsvm_data.txt")

// Split the data into training and test sets (30% held out for testing)

val splits = data.randomSplit(Array(0.7, 0.3))

val (trainingData, testData) = (splits(0), splits(1))

// Train a GradientBoostedTrees model.

// The defaultParams for Regression use SquaredError by default.

val boostingStrategy = BoostingStrategy.defaultParams("Regression")

boostingStrategy.numIterations = 3 // Note: Use more iterations in practice.

boostingStrategy.treeStrategy.maxDepth = 5

// Empty categoricalFeaturesInfo indicates all features are continuous.

boostingStrategy.treeStrategy.categoricalFeaturesInfo = Map[Int, Int]()

val model = GradientBoostedTrees.train(trainingData, boostingStrategy)

// Evaluate model on test instances and compute test error

val labelsAndPredictions = testData.map { point =>
  val prediction = model.predict(point.features)
  (point.label, prediction)}

val testMSE = labelsAndPredictions.map{ case(v, p) => math.pow((v - p), 2)}.mean()

println("Test Mean Squared Error = " + testMSE)

println("Learned regression GBT model:\n" + model.toDebugString)

// Save and load model

model.save(sc, "target/tmp/myGradientBoostingRegressionModel")

val sameModel = GradientBoostedTreesModel.load(sc,
  "target/tmp/myGradientBoostingRegressionModel")

完整代码参加spark repo中的 "examples/src/main/scala/org/apache/spark/examples/mllib/GradientBoostingRegressionExample.scala" 。


python 代码如下：

from pyspark.mllib.tree import GradientBoostedTrees, GradientBoostedTreesModel

from pyspark.mllib.util import MLUtils# Load and parse the data file.

data = MLUtils.loadLibSVMFile(sc, "data/mllib/sample_libsvm_data.txt")

# Split the data into training and test sets (30% held out for testing)

(trainingData, testData) = data.randomSplit([0.7, 0.3])

# Train a GradientBoostedTrees model.

#  Notes: (a) Empty categoricalFeaturesInfo indicates all features are continuous.

#         (b) Use more iterations in practice.

model = GradientBoostedTrees.trainRegressor(trainingData,
                                            categoricalFeaturesInfo={}, numIterations=3)

# Evaluate model on test instances and compute test error

predictions = model.predict(testData.map(lambda x: x.features))

labelsAndPredictions = testData.map(lambda lp: lp.label).zip(predictions)

testMSE = labelsAndPredictions.map(lambda (v, p): (v - p) * (v - p)).sum() /\    float(testData.count())

print('Test Mean Squared Error = ' + str(testMSE))

print('Learned regression GBT model:')

print(model.toDebugString())

# Save and load model

model.save(sc, "target/tmp/myGradientBoostingRegressionModel")

sameModel = GradientBoostedTreesModel.load(sc, "target/tmp/myGradientBoostingRegressionModel")


完整代码参见spark repo中的 "examples/src/main/python/mllib/gradient_boosting_regression_example.py" 。


优缺点

优点：

非线性变换能力强，表达能力强，

不需要复杂的特征工程和特征变换

缺点

串行过程，不易并行化

计算复杂度高，不适合高维稀疏特征



参考资料

http://journal.frontiersin.org/article/10.3389/fnbot.2013.00021/full

http://www.slideshare.net/Hadoop_Summit/surge-rise-of-scalable-machine-learning-at-yahoo

http://spark.apache.org/docs/latest/mllib-ensembles.html#gradient-boosted-trees-gbts



frank_hetest
关注
基于spark-ml,scala实现gbdt 算法，附带libsvm训练集和普通训练集实现
06-16
基于spark-ml,scala实现gbdt 算法，附带libsvm训练集和普通训练集实现，GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树。GBDT 也是 Boosting 算法的一种，但是和 AdaBoost 算法不同（AdaBoost 算法上一篇文章已经介绍）；区别如下：AdaBoost 算法是利用前一轮的弱学习器的误差来更新样本权重值，然后一轮一轮的迭代；GBDT 也是迭代，但是 GBDT 要求弱学习器必须是 CART 模型，而且 GBDT 在模型训练的时候，是要求模型预测的样本损失尽可能的小。
Spark GBDT
UnionIBM的博客
11-09 1679
随机森林(random forest)和GBDT都是属于集成学习（ensemble learning)的范畴。集成学习下有两个重要的策略Bagging和Boosting。   Bagging算法是这样做的：每个分类器都随机从原样本中做有放回的采样，然后分别在这些采样后的样本上训练分类器，然后再把这些分类器组合起来。简单的多数投票一般就可以。其代表算法是随机森林。Boosting的意思是这样，他通过
Spark2.0机器学习系列之5：GBDT（梯度提升决策树）、GBDT与随机森林差异、参数调试及Scikit代码分析
热门推荐
qq_34531825的博客
08-30 1万+
GBDT概念 与随机森林的差异 Spark2.0中参数调试
spark-GBDTs源码解析(GBDT梯度提升决策树[回归GBTClassifier|分类GBDTRegressor])_(spark_2.2.0)
u010990043的博客
07-08 3308
GBDT算法简介 【概述】 GBDT（全称梯度下降树）是集成学习中的其中一种算法。幸运的是spark在MLlib中有相关实现，共有两种实现GBTClassifier,GBDTRegressor。 【spark实现计算流程】 1. 若当前实现为GBTClassifier，检查训练集的label是否包含0和1之外的值，如果包含异常退出，否则将0和1转换成-...
spark.ml支持算法总结
leemusk的博客
12-18 2998
一、分类 1、Logistic regression 1.1 适用的数据 逻辑回归通常用于处理自变量是连续变量，因变量是分类变量的回归问题。 1.2 代码机器结果
梯度提升树和Logistic回归（GBDT+LR）在Spark上的混合模型.zip
03-31
在Spark中，MLlib库提供了GDBT（Gradient Boosted Trees）的实现，支持分类和回归任务。 接下来，逻辑回归（LR）是一种广义线性模型，常用于二分类问题，其目标是找到最佳权重系数，使得模型能够根据输入特征正确...
python实现GBDT的回归、二分类以及多分类
01-02
总之，Python中的GBDT实现涵盖了回归、二分类和多分类任务，通过调整参数和使用不同的损失函数，可以适应各种问题。同时，可视化工具如`SHAP`能够帮助我们理解模型的内部运作，提高模型的可解释性。通过实践这些方法...
基于Spark streaming+Kafka+Redis/HBase的GBDT+LR推荐排序模型
最新发布
12-28
1、资源内容：基于Spark streaming+Kafka+Redis/HBase的GBDT+LR推荐排序模型 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功，功能ok的...
spark gbdt java_spark实现gbdt和lr
weixin_39964573的博客
03-01 244
spark对python开放的接口实在是有限，只有scala是亲生的。查了下scala的包和函数，发现提供的真全，博主从零开始撸scala代码，边写边查的节奏，给出以下example代码给大家参考import org.apache.spark.mllib.classification.LogisticRegressionWithLBFGSimport org.apache.spark.mllib....
spark gbdt java_Spark.GBDT学习-GBTClassifier
weixin_36273006的博客
03-01 570
用于分类的GBT(Gradient-Boosted Trees)算法，基于J.H. Friedman. "Stochastic Gradient Boosting"实现，目前不支持多分类任务。Gradient Boosting vs. TreeBoost:本实现基于Stochastic Gradient Boosting(随机梯度提升)，而不是TreeBoost两种方法都是通过最小化损失函数，学习...
机器学习算法（十五）：GBDT
weixin_39910711的博客
02-15 8084
关于树的几个ensemble模型的比较（GBDT、xgBoost、lightGBM、RF）： https://blog.csdn.net/xwd18280820053/article/details/68927422 1 决策树 决策树详见：https://blog.csdn.net/weixin_39910711/article/details/79468798 ...
SparkML GBDT&RF算法使用示例
abc50319的专栏
11-01 2200
GBDT与RF作为机器学习中最常用的两个集成学习算法，Spark中也有相应的实现。下面是基于Spark 2.1.0 GBDT与RF算法的训练与预测(train/predict)接口实现。 功能： - train(训练)/train_cv(训练+网格搜索参数优化+交叉验证)/predict(预测)接口 Random Forest算法train/train_cv/predict实现： im...
梯度迭代树（GBDT）算法原理及Spark MLlib调用实例（Scala/Java/python）
liulingyuan6的博客
12-01 1万+
梯度迭代树 算法简介：         梯度提升树是一种决策树的集成算法。它通过反复迭代训练决策树来最小化损失函数。决策树类似，梯度提升树具有可处理类别特征、易扩展到多分类问题、不需特征缩放等性质。Spark.ml通过使用现有decision tree工具来实现。        梯度提升树依次迭代训练一系列的决策树。在一次迭代中，算法使用现有的集成来对每个训练实例的类别进行预测，然后将预测结
随机森林&GBDT算法以及在MLlib中的实现
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
04-18 1万+
决策树的一个缺点是容易出现过拟合，可以把利用融合的方式把各个弱模型集成起来，解决过拟合，提高模型的泛化能力。决策树和bagging 、boosting的思想结合在一起，诸如随机森林、GBDT，在数据挖掘中的预测分类、推荐广告以及搜索中的排序算法模型、搜索关键词的扩展推荐等等应用的非常广泛。先讲一下bagging和boosting方式的区别。Bagging的方式算是比较简单的，训练多个模型，利用每个
全是90后！这所211大学，拟聘任10名清华北大博士！
zenRRan的博客
11-30 471
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要3分钟跟随小博主，每天进步一丢丢转载：太原理工大学，澎湃新闻，双一流高校11月20日，太原理工大学人事处发布消息称，根据《太原理工大...
梯度提升树GBDT模型原理及spark ML实现
woniu201411的博客
10-17 4003
目录 一、GBDT模型原理 1.1 GB(Gradient Boost)算法 1.2 GBDT模型 二、spark ML机器学习库中GBDT使用案例 三、GBDT与Boost算法比较 四、 GBDT与RF比较 一、GBDT模型原理 1.1 GB(Gradient Boost)算法 GB算法直观理解，将损失函数的负梯度在当前模型的值，当做下个模型训练的目标函数(第3,...
Spark中组件Mllib的学习39之梯度提升树（GBT）用于分类*
Keep Learning
05-25 3377
更多代码请见：https://github.com/xubo245/SparkLearning Spark中组件Mllib的学习之分类篇 1解释（1）GBDT基本概念 用ID3算法和C4.5算法学习得到的决策树，有可能导致模型过拟合，通常使用剪枝算法来解决。随着集成学习的发展，出现了比较典型的迭代决策树GBDT和随机森林RF，即将多棵单决策树进行模型组合，形成多决策树，可以看成
GBDT&Spark mllib
小仙女的博客
08-22 1064
GBDT：GBDT有基于残差和基于梯度两个版本 残差： 梯度：
Spark MLlib 入门学习笔记 - GradientBoostedTree和随机森林
老胡的笔记
06-01 2358
MLlib 随机森林
GBDT用于分类的简单介绍
06-10
GBDT（Gradient Boosting Decision Tree）可以用于分类任务，通过组合多个决策树来进行预测。在分类任务中，GBDT 会将样本的标签转换为一个二元变量（0或1），然后使用二元交叉熵作为损失函数来训练模型。 在训练...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值