gbdt算法_GBDT算法介绍及其参数讲解

算法介绍

GBDT(Gradient Boosting DecisionTree)梯度提升迭代决策树，是一个集成模型，基分类器采用CART，集成方式为Gradient Boosting。GBDT是通过采用加法模型(即基函数的线性组合)，以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。GBDT算法的直观理解是，每一轮预测和实际值有残差，下一轮根据残差再进行预测，最后将所有预测相加，得出结果。GBDT通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏差的。因为训练的过程是通过降低偏差来不断提高最终分类器的精度。其模型训练过程如下图1-4-1所示：

图1-4-1 GBDT算法示意图

下图1-4-2是一个GBDT算法的简单例子：判断用户是否会喜欢电脑游戏，特征有年龄，性别和职业。需要注意的是，GBDT无论是用于分类和回归，采用的都是回归树，分类问题最终是将拟合值转换为概率来进行分类的。

图1-4-2GBDT算法示例图

在上图1-4-2中,每个用户的最后的拟合值为两棵树的结果相加。

算法优势

优点：

1. 该算法即可以用于分类也可以用于回归。

2. 该算法可以筛选特征。

3. 预测阶段的计算速度快，树与树之间可并行化计算。

4. 在分布稠密的数据集上，泛化能力和表达能力都很好。

5. 采用决策树作为弱分类器使得GBDT模型具有较好的解释性和鲁棒性，能够自动发现特征间的高阶关系，并且也不需要对数据进行特殊的预处理如归一化等。

6. 预测精度高

7. 适合低维数据

8. 能处理非线性数据

   </