XGBoost
XGBoost能自动利用cpu的多线程,而且适当改进了gradient boosting,加了剪枝,控制了模型的复杂程度
-
传统GBDT以CART作为基分类器,特指梯度提升决策树算法,而XGBoost还支持线性分类器(gblinear),这个时候XGBoost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。
-
传统GBDT在优化时只用到一阶导数信息,xgboost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数。顺便提一下,xgboost工具支持自定义代价函数,只要函数可一阶和二阶求导。
-
xgboost在代价函数里加入了正则项,用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲,正则项降低了模型的variance,使学习出来的模型更加简单,防止过拟合,这也是xgboost优于传统GBDT的一个特性。
-
xgboost中树节点分裂时所采用的公式:
-
Shrinkage(缩减),相当于学习速率(xgboost中的eta)。xgboost在进行完一次迭代后,会将叶子节点的权重乘上该系数,主要是为了削弱每棵树的影响,让后面有更大的学习空间。实际应用中,一般把eta设置得小一点,然后迭代次数设置得大一点。(传统GBDT的实现也有学习速率)
-
列抽样(column subsampling)。xgboost借鉴了随机森林的做法,支持列抽样,不仅能降低过拟合,还能减少计算,这也是xgboost异于传统gbdt的一个特性。
-
对缺失值的处理。对于特征的值有缺失的样本,xgboost可以自动学习出它的分裂方向。
-
xgboost工具支持并行。注意xgboost的并行不是tree粒度的并行,xgboost也是一次迭代完才能进行下一次迭代的(第t次迭代的代价函数里包含了前面t-1次迭代的预测值)。xgboost的并行是在特征粒度上的。我们知道,决策树的学习最耗时的一个步骤就是对特征的值进行排序(因为要确定最佳分割点),xgboost在训练之前,预先对数据进行了排序,然后保存为block结构,后面的迭代中重复地使用这个结构,大大减小计算量。这个block结构也使得并行成为了可能,在进行节点的分裂时,需要计算每个特征的增益,最终选增益最大的那个特征去做分裂,那么各个特征的增益计算就可以开多线程进行。(特征粒度上的并行,block结构,预排序)
-
这个公式形式上跟ID3算法、CART算法是一致的,都是用分裂后的某种值减去分裂前的某种值,从而得到增益。为了限制树的生长,我们可以加入阈值,当增益大于阈值时才让节点分裂,上式中的gamma即阈值,它是正则项里叶子节点数T的系数,所以xgboost在优化目标函数的同时相当于做了预剪枝。另外,上式中还有一个系数lambda,是正则项里leaf score的L2模平方的系数,对leaf score做了平滑,也起到了防止过拟合的作用,这个是传统GBDT里不具备的特性。
-
XGBoost实现层面
-
内置交叉验证方法
-
能够输出特征重要性文件辅助特征筛选
XGBoost优势小结:
-
显式地将树模型的复杂度作为正则项加在优化目标
-
公式推导里用到了二阶导数信息,而普通的GBDT只用到一阶
-
允许使用列抽样(column(feature) sampling)来防止过拟合,借鉴了Random Forest的思想,sklearn里的gbm好像也有类似实现。
-
实现了一种分裂节点寻找的近似算法,用于加速和减小内存消耗。
-
节点分裂算法能自动利用特征的稀疏性。
-
样本数据事先排好序并以block的形式存储,利于并行计算
-
penalty function Omega主要是对树的叶子数和叶子分数做惩罚,这点确保了树的简单性。
-
支持分布式计算可以运行在MPI,YARN上,得益于底层支持容错的分布式通信框架rabit。
XGBoost算法已经成为数据工程师的重要武器。它是一种十分精致的算法,可以处理各种不规则的数据。
构造一个使用XGBoost的模型十分简单。但是,提高这个模型的表现,调参很困难。
一、xgBoost优势
XGBoost算法可以给预测模型带来能力的提升。当你对它的高准确率背后的原理有更多了解的时候,就会发现它具有很多优势:
1 正则化
标准GBM的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。
实际上,XGBoost以“正则化提升(regularized boosting)”技术而闻名。
2 并行处理
XGBoost可以实现并行处理,相比GBM有了速度的飞跃。
然而,Boosting算法是顺序处理的,它是如何并行的呢?
每一课树的构造都依赖于前一棵树,那具体是什么让我们能用多核处理器去构造一个树呢?
XGBoost 也支持Hadoop实现。
3 高度的灵活性
XGBoost 允许用户定义自定义优化目标和评价标准
它对模型增加了一个全新的维度,所以我们的处理不会受到任何限制。
4 缺失值处理
XGBoost内置处理缺失值的规则。
用户需要提供一个和其它样本不同的值,然后把它作为一个参数传进去,以此来作为缺失值的取值。
XGBoost在不同节点遇到缺失值时采用不同的处理方法,并且会学习未来遇到缺失值时的处理方法。
5 剪枝
当分裂时遇到一个负损失时,GBM会停止分裂。因此GBM实际上是一个贪心算法。
XGBoost会一直分裂到指定的最大深度(max_depth),然后回过头来剪枝。如果某个节点之后不再有正值,它会去除这个分裂。
这种做法的优点,当一个负损失(如-2)后面有个正损失(如+10)的时候,就显现出来了。
GBM会在-2处停下来,因为它遇到了一个负值。但是XGBoost会继续分裂,然后发现这两个分裂综合起来会得到+8,
因此会保留这两个分裂。
6 内置交叉验证
XGBoost允许在每一轮boosting迭代中使用交叉验证。因此,可以方便地获得最优boosting迭代次数。
而GBM使用网格搜索,只能检测有限个值。
7、在已有的模型基础上继续
XGBoost可以在上一轮的结果上继续训练。这个特性在某些特定的应用上是一个巨大的优势。
sklearn中的GBM的实现也有这个功能,两种算法在这一点上是一致的。
相信你已经对XGBoost强大的功能有了点概念。
二、XGBoost的参数
XGBoost的作者把所有的参数分成了三类:
- 通用参数:宏观函数控制。
- Booster参数:控制每一步的booster(tree/regression)。
- 学习目标参数:控制训练目标的表现。
在这里会类比GBM来讲解,所以作为一种基础知识,强烈推荐先阅读这篇文章。
1 通用参数
这些参数用来控制XGBoost的宏观功能。
1、booster[默认gbtree]
- 选择每次迭代的模型,有两种选择:
gbtree:基于树的模型
gbliner:线性模型
2、silent[默认0]
- 当这个参数值为1时,静默模式开启,不会输出任何信息。
- 一般这个参数就保持默认的0,因为这样能帮我们更好地理解模型。
3、nthread[默认值为最大可能的线程数]
- 这个参数用来进行多线程控制,应当输入系统的核数。
- 如果你希望使用CPU全部的核,那就不要输入这个参数,算法会自动检测它。
还有两个参数,XGBoost会自动设置,目前你不用管它。接下来咱们一起看booster参数。
2 booster参数
尽管有两种booster可供选择,我这里只介绍tree booster,因为它的表现远远胜过linear booster,所以linear booster很少用到。
1、eta[默认0.3]
- 和GBM中的 learning rate 参数类似。
- 通过减少每一步的权重,可以提高模型的鲁棒性。
- 典型值为0.01-0.2。
2、min_child_weight[默认1]
- 决定最小叶子节点样本权重和。
- 和GBM的 min_child_leaf 参数类似,但不完全一样。XGBoost的这个参数是最小样本权重的和,而GBM参数是最小样本总数。
- 这个参数用于避免过拟合。当它的值较大时,可以避免模型学习到局部的特殊样本。
- 但是如果这个值过高,会导致欠拟合。这个参数需要使用CV来调整。
3、max_depth[默认6]
- 和GBM中的参数相同,这个值为树的最大深度。
- 这个值也是用来避免过拟合的。max_depth越大,模型会学到更具体更局部的样本。
- 需要使用CV函数来进行调优。
- 典型值:3-10
4、max_leaf_nodes
- 树上最大的节点或叶子的数量。
- 可以替代max_depth的作用。因为如果生成的是二叉树,一个深度为n的树最多生成n2n2个叶子。
- 如果定义了这个参数,GBM会忽略max_depth参数。
5、gamma[默认0]
- 在节点分裂时,只有分裂后损失函数的值下降了,才会分裂这个节点。Gamma指定了节点分裂所需的最小损失函数下降值。
- 这个参数的值越大,算法越保守。这个参数的值和损失函数息息相关,所以是需要调整的。
6、max_delta_step[默认0]
- 这参数限制每棵树权重改变的最大步长。如果这个参数的值为0,那就意味着没有约束。如果它被赋予了某个正值,那么它会让这个算法更加保守。
- 通常,这个参数不需要设置。但是当各类别的样本十分不平衡时,它对逻辑回归是很有帮助的。
- 这个参数一般用不到,但是你可以挖掘出来它更多的用处。
7、subsample[默认1]
- 和GBM中的subsample参数一模一样。这个参数控制对于每棵树,随机采样的比例。
- 减小这个参数的值,算法会更加保守,避免过拟合。但是,如果这个值设置得过小,它可能会导致欠拟合。
- 典型值:0.5-1
8、colsample_bytree[默认1]
- 和GBM里面的max_features参数类似。用来控制每棵随机采样的列数的占比(每一列是一个特征)。
- 典型值:0.5-1
9、colsample_bylevel[默认1]
- 用来控制树的每一级的每一次分裂,对列数的采样的占比。
- 我个人一般不太用这个参数,因为subsample参数和colsample_bytree参数可以起到相同的作用。但是如果感兴趣,可以挖掘这个参数更多的用处。
10、lambda[默认1]
- 权重的L2正则化项。(和Ridge regression类似)。
- 这个参数是用来控制XGBoost的正则化部分的。虽然大部分数据科学家很少用到这个参数,但是这个参数在减少过拟合上还是可以挖掘出更多用处的。
11、alpha[默认1]
- 权重的L1正则化项。(和Lasso regression类似)。
- 可以应用在很高维度的情况下,使得算法的速度更快。
12、scale_pos_weight[默认1]
- 在各类别样本十分不平衡时,把这个参数设定为一个正值,可以使算法更快收敛。
3学习目标参数
这个参数用来控制理想的优化目标和每一步结果的度量方法。
1、objective[默认reg:linear]
- 这个参数定义需要被最小化的损失函数。最常用的值有:
- binary:logistic 二分类的逻辑回归,返回预测的概率(不是类别)。
- multi:softmax 使用softmax的多分类器,返回预测的类别(不是概率)。
- 在这种情况下,你还需要多设一个参数:num_class(类别数目)。
- multi:softprob 和multi:softmax参数一样,但是返回的是每个数据属于各个类别的概率。
2、eval_metric[默认值取决于objective参数的取值]
- 对于有效数据的度量方法。
- 对于回归问题,默认值是rmse,对于分类问题,默认值是error。
- 典型值有:
- rmse 均方根误差(∑Ni=1ϵ2N−−−−−√∑i=1Nϵ2N)
- mae 平均绝对误差(∑Ni=1|ϵ|N∑i=1N|ϵ|N)
- logloss 负对数似然函数值
- error 二分类错误率(阈值为0.5)
- merror 多分类错误率
- mlogloss 多分类logloss损失函数
- auc 曲线下面积
3、seed(默认0)
- 随机数的种子
- 设置它可以复现随机数据的结果,也可以用于调整参数
python的XGBoost模块有sklearn包。包中的参数是按sklearn风格命名。会改变的函数名是:
1、eta -> learning_rate
2、lambda -> reg_lambda
3、alpha -> reg_alpha
推荐阅读:
XGBoost Parameters (official guide)
XGBoost Demo Codes (xgboost GitHub repository)
Python API Reference (official guide)
spark maven 项目配置
scala:2.11.0
jdk:1.8
xgboost:0.72
spark:必须要2.3.0及其以上,否则会出千奇百怪的错
<java.version>1.8</java.version>
<spark.version>2.3.0</spark.version>
<hadoop.version>2.7.3</hadoop.version>
<dependency>
<groupId>ml.dmlc</groupId>
<artifactId>xgboost4j</artifactId>
<version>0.72</version>
</dependency>
<dependency>
<groupId>ml.dmlc</groupId>
<artifactId>xgboost4j-spark</artifactId>
<version>0.72</version>
</dependency>
import ml.dmlc.xgboost4j.scala.spark.XGBoost
import org.apache.log4j.{Level, Logger}
import org.apache.spark.ml.feature._
import org.apache.spark.sql._
object myCallXGBoost {
Logger.getLogger("org").setLevel(Level.WARN)
def main(args: Array[String]): Unit = {
val inputPath = "/Users/01376233/IdeaProjects/myxgboost/src/main/data"
// create SparkSession
val spark = SparkSession
.builder()
.appName("SimpleXGBoost Application")
.config("spark.executor.memory", "2G")
.config("spark.executor.cores", "4")
.config("hive.metastore.uris","thrift://10.202.77.200:9083")
.config("spark.driver.memory", "1G")
.config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
.config("spark.default.parallelism", "4")
.enableHiveSupport()
//.master("local[*]")
.getOrCreate()
//从csv中读取数据
//val myTrainCsv = spark.read.option("header", "true").option("inferSchema", true).csv(inputPath + "/my_train.csv")
//val myTestCsv = spark.read.option("header", "true").option("inferSchema", true).csv(inputPath + "/my_test.csv")
//从hive中读取数据
val myTrainCsv = spark.sql("select * from dm_analysis.lsm_xgboost_train")
val myTestCsv = spark.sql("select * from dm_analysis.lsm_xgboost_test")
//println(myTrainCsv.getClass.getSimpleName) //Dataset
//sys.exit()
//myTrainCsv.show(10)
//把特征转化为一个vector
//将多列的特征转化为一个vector,这个vector叫features
val vectorAssembler = new VectorAssembler()
.setInputCols(Array("iswork","rank","cntLag1","cntLag2","Monday",
"Saturday","Sunday","Thursday","Tuesday","Wednesday",
"August","December","February","January","July","June","March"
,"May","November","October","September","lateMonth","midMonth"))
.setOutputCol("features")
val xGBoostTrainInput = vectorAssembler.transform(myTrainCsv).drop("_c0").withColumnRenamed("cnt","label").select("features", "label")
val xGBoostTestInput = vectorAssembler.transform(myTestCsv).select("features")
xGBoostTestInput.show(10)
//sys.exit()
//sys.exit()
// number of iterations
val numRound = 10
val numWorkers = 4
// training parameters
val paramMap = List(
"colsample_bytree" -> 1,
"eta" -> 0.05f, //就是学习率
"max_depth" -> 8, //树的最大深度
"min_child_weight" -> 5, //
"n_estimators" -> 120,
"subsample" -> 0.7
).toMap
println("Starting Xgboost ")
//val a = new XGBoostRegressionModel
val xgBoostModel = XGBoost.trainWithDataFrame(xGBoostTrainInput, paramMap, round = 10, nWorkers = 4, useExternalMemory = true)
val output = xgBoostModel.transform(xGBoostTestInput)
output.show()
}
}