写在前面
昨天学习了GBDT的基本原理及算法,关键是考虑了损失函数为一般函数的时候采用了负梯度下降的策略,并引入了残差拟合来学习叶子结点,最终得到一颗回归树。当然,纸上谈兵是没有用的,最重要的还是要把这个算法实现,形成可应用的套路。接下来就基于最广泛使用的机器学习库scikit-learn里GBDT的类库使用方法进行学习,主要就是参数优化这一方面。
参考博客:Python中Gradient Boosting Machine(GBM)调参方法详解--寒小阳
scikit-learn 梯度提升树(GBDT)调参小结--刘建平Pinard
1. scikit-learn GBDT类库概述
2. GBDT中Boosting框架的重要参数
对于分类模型,有对数似然损失函数"deviance"和指数损失函数"exponential"两者输入选择。默认是对数似然损失函数"deviance"。在原理篇中对这些分类损失函数有详细的介绍。一般来说, 推荐使用默认的"deviance"。它对二元分离和多元分类各自都有比较好的优化。而指数损失函数等于把我们带到了Adaboost算法。
对于回归模型,有均方差"ls", 绝对损失"lad", Huber损失"huber"和分位数损失“quantile”。默认是均方差"ls"。一般来说,如果数据的噪音点不多,用默认的均方差"ls"比较好。如果是噪音点较多,则推荐用抗噪音的损失函数"huber"。而如果我们需要对训练集进行分段预测的时候,则采用“quantile”。
3. GBDT 中弱学习器的重要参数
GBDT中使用的弱学习器为CART回归树,因此它的参数调优与决策树的参数基本类似。
(1)max_feature: 即划分时考虑的最大特征数。可以使用很多种类型的值,默认是"None",意味着划分时考虑所有的特征数;如果是"log2"意味着划分时最多考虑log2N个特征;如果是"sqrt"或者"auto"意味着划分时最多考虑sqrt(N)个特征。如果是整数,代表考虑的特征绝对数。如果是浮点数,代表考虑特征百分比,即考虑(百分比xN)取整后的特征数。其中N为样本总特征数。一般来说,如果样本特征数不多,比如小于50,我们用默认的"None"就可以了,如果特征数非常多,我们可以灵活使用刚才描述的其他取值来控制划分时考虑的最大特征数,以控制决策树的生成时间。
(2)max_depth:即决策树最大深度。默认可以不输入,如果不输入的话,决策树在建立子树的时候不会限制子树的深度。一般来说,数据少或者特征少的时候可以不管这个值。如果模型样本量多,特征也多的情况下,推荐限制这个最大深度,具体的取值取决于数据的分布。常用的可以取值10-100之间。
(3)min_samples_split:即内部结点再划分所需最小样本数。这个值限制了子树继续划分的条件,如果某节点的样本数少于min_samples_split,则不会继续再尝试选择最优特征来进行划分。 默认是2,如果样本量不大,不需要管这个值。如果样本量数量级非常大,则推荐增大这个值。
(4)min_sample_leaf:即叶结点最少样本数。这个值限制了叶子节点最少的样本数,如果某叶子节点数目小于样本数,则会和兄弟节点一起被剪枝。 默认是1,可以输入最少的样本数的整数,或者最少样本数占样本总数的百分比。如果样本量不大,不需要管这个值。如果样本量数量级非常大,则推荐增大这个值。
(5)min_weight_fraction_leaf:即叶结点最小的样本权重和。这个值限制了叶子节点所有样本权重和的最小值,如果小于这个值,则会和兄弟节点一起被剪枝。 默认是0,就是不考虑权重问题。一般来说,如果我们有较多样本有缺失值,或者分类树样本的分布类别偏差很大,就会引入样本权重,这时我们就要注意这个值了。
(6)max_leaf_nodes: 即最大叶结点数。通过限制最大叶子节点数,可以防止过拟合,默认是"None”,即不限制最大的叶子节点数。如果加了限制,算法会建立在最大叶子节点数内最优的决策树。如果特征不多,可以不考虑这个值,但是如果特征分成多的话,可以加以限制,具体的值可以通过交叉验证得到。
(7)min_impurity_split:即结点划分最小不纯度。这个值限制了决策树的增长,如果某节点的不纯度(基于基尼系数,均方差)小于这个阈值,则该节点不再生成子节点。即为叶子节点 。一般不推荐改动默认值1e-7。
4.GBDT调参实例
一开始采用了@刘建平 大神的数据集以及步骤学习,但是...用了GBDT后居然不用调参优化就直接达到了100%的精度...不得不换一个数据集...(给出大神的数据集:参考GitHub上数据调参过程Parameter_Tuning_GBM_with_Example 例子里面有87000多行,单机跑回比较慢,所以只选取他的前面20000行,数据集下载地址。)
于是就选择了以前练手的Kaggle项目:Titanic: Machine Learning from Disaster 的数据集开始调参学习。
代码和调参过程上传至Github上(GBDT优化调参code),欢迎讨论指教~
以上~
2018.04.19