spark gbdt java_Spark.GBDT学习-GBTClassifier

用于分类的GBT(Gradient-Boosted Trees)算法，基于J.H. Friedman. "Stochastic Gradient Boosting"实现，目前不支持多分类任务。Gradient Boosting vs. TreeBoost:

本实现基于Stochastic Gradient Boosting(随机梯度提升)，而不是TreeBoost

两种方法都是通过最小化损失函数，学习树的集成

TreeBoost方法相对于原始方法，基于损失函数对叶节点的输出进行了额外的修改

Spark考虑未来实现TreeBoost

GBTClassifier类

定义

一个唯一标识uid，继承了Predictor类，继承了GBTClassifierParams、DefaultParamsWritable、Logging特质。其中Predictor中的三个元素分别代表: 特征类型、学习器、学习到用于预测的模型。

class GBTClassifier(override val uid: String)

extends Predictor[Vector, GBTClassifier, GBTClassificationModel]

with GBTClassifierParams with DefaultParamsWritable with Logging

{

def this() = this(Identifiable.randomUID("gbtc"))

...

}

参数

为了兼容JAVA API，覆盖了继承自特质(with trait)的参数setter方法。

TreeClassifierParams参数

maxDepth

树的最大深度，0意味着只有一个叶节点，1意味着有一个内部节点+两个叶节点。

支持：>=0

默认：5

maxBins

用于离散连续特征的最大分桶数，用于每个节点特征分裂时分裂点的选择，分桶数越大意味着粒度越高。

支持：>=2并且>=任一类别特征的分类数

默认：32

minInstancesPerNode

分裂后每个子节点含有的最小样本数，如果分裂后左孩子或右孩子含有的样本数少于该值，则该分裂无效。

支持：>=1

默认：1

minInfoGain

树节点分裂时的最小信息增益。

支持：>=0.0

默认：0.0

maxMemoryInMB

每次会对一组节点进行切分，分组是按照树的层次逐步进行。每组需要切分的节点个数视内存大小而定，如果内存太小，每次只能切分一个节点。单位MB

默认：256MB

cacheNodeIds

如果为true，算法会为每个实例缓存树节点ID；如果为false，算法会将树传递给执行器用于匹配实例和树节点。缓存有利于加速训练深度较大的树，用户可以通过参数checkpointInterval设置缓存被检查的频率或者不检查。

默认：false

checkpointInterval

表示缓存的树节点ID的检查频率，当cacheNodeIds为true并且检查目录(checkpoint directory)通过sparkContext设置过才有效。

支持：>=1或者-1代表不检查，10意味着每10次迭代检查一次。

默认：10

impurity

用于计算信息增益的准则。不支持通过GBTClassifier.setImpurity方法设置该值。

支持：entropy、gini

默认：gini

TreeEnsembleParams参数

subsamplingRate

每一次迭代训练基学习器(决策树)时所使用的训练数据集的百分比。

支持：(0, 1]

默认：1.0

seed

随机数种子

默认：this.getClass.getName.hashCode.toLong

GBTParams参数

maxIter

最大迭代次数

支持：>=0

默认：20

stepSize

学习率(learning rate/step size)参数，用于缩小(shrinking)每个基学习器的贡献。

支持：(0, 1]

默认：0.1

GBTClassifierParams参数

lossType

GBT最小化的损失函数，不区分大小写。

支持：logistic

默认：logistic

方法

copy方法

GBTClassifier的拷贝函数。

train方法

GBTClassifier类的主要方法，用于训练得到学习好的用于预测的模型。

// @input: 训练数据, DataSet

// @output: 学习到的模型, GBTClassificationModel

override protected def train(dataset: Dataset[_]):

GBTClassificationModel = {

// 得到类别特征

val categoricalFeatures: Map[Int, Int] =

MetadataUtils.getCategoricalFeatures(dataset.schema($(featuresCol)))

// 转换训练数据并进行验证

// 将DataSet转换成RDD[LabeledPoint]

// 只支持二分类，要求label为0或1

val oldDataset: RDD[LabeledPoint] =

dataset.select(col($(labelCol)), col($(featuresCol))).rdd.map {

case Row(label: Double, features: Vector) =>

require(label == 0 || label == 1, s"GBTClassifier was given dataset with invalid label $label. Labels must be in {0,1}; note that GBTClassifier currently only supports binary classification.")

LabeledPoint(label, features)

}

// 获得特征个数及boosting策略

val numFeatures = oldDataset.first().features.size

val boostingStrategy = super.getOldBoostingStrategy(categoricalFeatures, OldAlgo.Classification)

// 用于记录日志

val instr = Instrumentation.create(this, oldDataset)

instr.logParams(params: _*)

instr.logNumFeatures(numFeatures)

instr.logNumClasses(2)

// 调用GradientBoostedTrees训练得到一组学习器及其权重

val (baseLearners, learnerWeights) = GradientBoostedTrees.run(oldDataset, boostingStrategy, $(seed))

// 将学到的模型封装成GBTClassificationModel并返回

val m = new GBTClassificationModel(uid, baseLearners, learnerWeights, numFeatures)

instr.logSuccess(m)

m

}

GBTClassifier对象

object GBTClassifier extends DefaultParamsReadable[GBTClassifier] {

// final变量，访问支持的损失函数类型

final val supportedLossTypes: Array[String] = GBTClassifierParams.supportedLossTypes

// 从目录中加载GBTClassifier

override def load(path: String): GBTClassifier = super.load(path)

}

GBTClassificationModel类

用于分类的GBT模型，仅支持二分类，支持连续特征和类别特征。

定义

继承了PredictionModel类以及多个特质，其中PredictionModel的两个元素分别代表特征类型、学习到用于预测的模型。

class GBTClassificationModel private[ml](

override val uid: String,

private val _trees: Array[DecisionTreeRegressionModel],

private val _treeWeights: Array[Double],

override val numFeatures: Int)

extends PredictionModel[Vector, GBTClassificationModel]

with GBTClassifierParams

with TreeEnsembleModel[DecisionTreeRegressionModel]

with MLWritable with Serializable

{

// 检查_trees.nonEmpty

// 检查_trees.length == _treeWeights.length

val numTrees: Int = _trees.length

...

}

方法

transformImpl方法

首先将GBTClassificationModel进行广播，然后通过udf进行预测数据，udf中调用predict方法实现。

override protected def transformImpl(dataset: Dataset[_]): DataFrame = {

// 广播本类

val bcastModel = dataset.sparkSession.sparkContext.broadcast(this)

val predictUDF = udf { (features: Any) =>

// udf通过本类的predict方法实现

bcastModel.value.predict(features.asInstanceOf[Vector])

}

// 使用udf将特征数据转换成预测数据

dataset.withColumn($(predictionCol), predictUDF(col($(featuresCol))))

}

predict方法

关键的预测方法，先得到每个基学习器的预测值，然后进行融合得到最终的预测结果，最后得到类别结果。可以看到这里得到的预测值不是概率而是类别0/1，因为label被转换成了-1/+1，所以这里通过prediction>0.0得到预测lebel。

override protected def predict(features: Vector): Double = {

// 得到每棵树的预测结果

val treePredictions = _trees.map(_.rootNode.predictImpl(features).prediction)

// 乘以权重之后求和得到融合结果

val prediction = blas.ddot(numTrees, treePredictions, 1, _treeWeights, 1)

// 得到预测lebel

if (prediction > 0.0) 1.0 else 0.0

}

copy方法

GBTClassificationModel的拷贝方法。

toOld方法

将ml的模型转换成mllib中老的API，ml域的私有方法。

private[ml] def toOld: OldGBTModel = {

new OldGBTModel(OldAlgo.Classification, _trees.map(_.toOld), _treeWeights)

}

write方法

调用GBTClassificationModel对象的方法保存本模型。

override def write: MLWriter = new GBTClassificationModel.GBTClassificationModelWriter(this)

GBTClassificationModel对象

fromOld方法

从老的API中转换出当前模型

GBTClassificationModelReader类

私有类，其中的load方法用于从目录中读取模型

GBTClassificationModelWriter类

私有类，其中的saveImpl方法用于将本模型保存

read方法

新建GBTClassificationModelReader类

load方法