【GBDT】常见问题

• GBDT基于哪种树模型？

  • 基于CART的回归树

• GBDT是分类树还是回归树？为什么

  • 是回归树，基于CART回归树，每一个弱分类器的输出（预测值$\hat{y}$）需要和真实值$y$得到残差，作为下一个弱分类器的输入，因此必须是回归树
  • 分类树可以通过转换为预测概率值，得到分类结果

• 梯度提升和梯度下降的区别和联系是什么 ？

  • 
  • 在梯度下降中， 模型是以参数化形式表示， 从而模型的更新等价于参数的更新；在梯度提升中， 模型并不需要进行参数化表示， 而是直接定义在函数空间中， 从而大大扩展了可以使用的模型种类

• GBDT的优点和局限性？

  • 优点
    （1） 预测阶段的计算速度快， 树与树之间可并行化计算。
    （2） 在分布稠密的数据集上， 泛化能力和表达能力都很好
    （3） 采用决策树作为弱分类器使得GBDT模型具有较好的解释性和鲁棒性，能够自动发现特征间的高阶关系， 并且也不需要对数据进行特殊的预处理如归一化等。
  • 局限性
    （ 1） GBDT在高维稀疏的数据集上， 表现不如支持向量机或者神经网络。
    （ 2） GBDT在处理文本分类特征问题上， 相对其他模型的优势不如它在处理数值特征时明显。
    （ 3） 训练过程需要串行训练， 只能在决策树内部采用一些局部并行的手段提高训练速度。

• GBDT的预测值拟合为什么采用负梯度残差拟合而不是直接采用残差拟合？

  • 因为，最终采用加法集成：第1轮的预测值+第2轮中对第1轮残差的预测值+第3轮中对第2轮残差的预测值+…~=（约等于）第1轮的预测值

• 梯度提升和提升树算法的区别和联系？

  • 梯度提升更具一般性，对于一般的损失函数而言，梯度提升法拟合了残差，输出的是残差的近似值
  • 提升树利用加法模型与前向分歩算法实现学习的优化过程，使用的损失函数正好是均方差，求导之后的值正好是残差值

• 梯度提升算法包含哪些算法？

  • GBDT（Gradient Boosting Decision Tree）、XGBoost（eXtreme Gradient Boosting）、LightGBM （Light Gradient Boosting Machine）和CatBoost（Categorical Boosting）

• 对于一般损失函数而言，为什么可以利用损失函数的负梯度在当前模型的值作为梯度提升算法中残差的近似值呢？

  • 我们观察到在提升树算法中，残差 $y-F_{t-1}(x)$是损失函数$\frac{1}{2}(y-F(x){)}^2$ 的负梯度方向，因此可以将其推广到其他不是平方误差(分类或是排序问题)的损失函数。也就是说，梯度提升算法是一种梯度下降算法，不同之处在于更改损失函数和求其负梯度就能将其推广。即，可以将结论推广为对于一般损失函数也可以利用损失函数的负梯度近似拟合残差。

• GBDT与XGBoost的联系与区别

• GBDT的剪枝方法