XGBoost 与 LightGBM

XGBoost

在商业实战中有非常广泛的应用场景，例如金融反欺诈模型、信用卡评分模型等。

XGBoost 核心思想

• 以 CART 回归树为基学习器的 梯度提升 算法
• boosting 集成学习
• 多轮迭代，每轮迭代产生一个弱分类器（对上一轮 残差 进行拟合），每个分类器在上一轮分类器的梯度基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏差（欠拟合）的。
• 让损失函数持续下降 --> 模型在不断下降。

数学原理

作为 GBDT 算法的高效实现，XGBoost 算法在如下两个方面做了优化

1. 算法本身的优化：XGBoost 算法的损失函数，除了本身的损失外还加上了正则化部分，可以控制模型复杂度，防止过拟合，泛化能力更强。
   $$\begin{gathered} \widehat{y_i}=\sum _{k=1}^K{f}_k(x_i)f_k\in \mathcal{F} \\ obj=\sum _{i=1}^n\mathcal{L}(y_i,\widehat{y_i})+\sum _{k=1}^K\Omega (f_k) \end{gathered}$$

   • 其中，$\widehat{y_i}$ 为模型对样本 $x_i$ 的预测结果
   • f