3-4 机器学习进阶-GBDT原理、常用损失函数、如何用于分类、优缺点

1、简述GBDT原理

2、GBDT常用损失函数有哪些

3、GBDT如何用于分类

4、为什么GBDT不适合使用高维稀疏特征？

5、GBDT算法的优缺点

---

1、简述GBDT原理

1、根据训练集训练一棵初始的决策树

2、计算之前所有树在此数据集上预测结果之和与真实结果的差值，也叫做残差

3、把残差作为当前树拟合目标在训练集上训练

4、将训练得到的决策树集成到GBDT集成模型上

5、重复2-4，直到达到设置的阈值（树的个数、早停策略等）

---

2、GBDT常用损失函数有哪些

回归问题常用损失（MAE、MSE、RMSE）：

还有组合损失如Huber Loss（MAE和MSE结合）

组合损失的好处（1）在0附近可导 （2）loss较大时为MAE，较小时为MSE，降低梯度能够逐步靠近最优点

分类问题损失：

交叉熵、指数损失函数exp(-y*f(x)) y为label{-1，1}；f(x)为预测值

---

3、GBDT如何用于分类

做分类任务和回归任务相似，所用的损失函数不同

---

4、为什么GBDT不适合使用高维稀疏特征？

高维稀疏特征使得树模型训练变得低效，容易造成过拟合

高维稀疏特征导致子树数量多，每次分裂只能筛选少量样本，导致泛化性弱

---

5、GBDT算法的优缺点

优点：预测计算可并行，速度快

稠密数据，泛化能力和表现较好

决策树做弱分类器：可解释性和鲁棒性好，可以发现特征间的高阶关系，不需要对数据做过多预处理。

缺点：高维稀疏特征效果不好，训练阶段为串行结构速度较慢