（保证能看懂系列）集成算法之Boosting -XGboost 详细原理

最新推荐文章于 2023-05-25 20:50:50 发布

Lee_Yu_Rui

最新推荐文章于 2023-05-25 20:50:50 发布

阅读量412

点赞数 2

文章标签：深度学习机器学习

本文链接：https://blog.csdn.net/Lee_Yu_Rui/article/details/107367221

版权

预备知识：（1）GBDT实现原理https://blog.csdn.net/Lee_Yu_Rui/article/details/107309184https://blog.csdn.net/Lee_Yu_Rui/article/details/107294360（2）bias 和 variance（3）L1 和 L2 正则化（Ridge和lasso回归）其本质就是通过L1或者L2正则化使得被正则化的元素之间变小的过程，比如RIdge对w或者说成直线的斜率进行L2正则化的时候，就会.

摘要由CSDN通过智能技术生成

预备知识：

（1）GBDT实现原理

https://blog.csdn.net/Lee_Yu_Rui/article/details/107309184

https://blog.csdn.net/Lee_Yu_Rui/article/details/107294360

（2）bias 和 variance

（3）L1 和 L2 正则化（Ridge和lasso回归）

其本质就是通过L1或者L2正则化使得被正则化的元素之间变小的过程，比如RIdge对w或者说成直线的斜率进行L2正则化的时候，就会使得最后的斜率相比正则化之间变小，这就较少了对数据自变量的敏感性，从而使得产生的拟合直线的bias增加，从而减少方差，提高泛化能力

假设预备知识都没有问题，我们开看看XGboost的原理。

根据boosting算法族的思路，根据前一个学习器的训练效果对样本分布进行调整，再根据新的样本分布训练下一个学习器。以前谈到的算法如 AdaBoost或者GBDT的弱分类器都是基于CART树进行的。这里XGboost有它自己生成决策树的方式，要生成一个决策树，主要就是解决3个方面：

（1）如何划分特征

（2）输出数据 $O_{value}$ 的规则（回归：采用何种计算输出值的方式，分类：大数原则还是加权概率等方式）

（3）如何在不同特征组合的树之间，选择一个最好的树（如CART分类是根据GINI系数增益，ID3 信息增益 C4.5信息增益率）

另外作为集成算法，还要（4）明确XGboost的损失函数以及最后的结合策略

所以本节会详细解释以上问题

明确XGboost的损失函数

XGboost的损失函数是在常规损失函数的基础上加入了L1正则项和L2正则项，所以降低XGboost过拟合的可能。

$\sum_{i=1}^{n}L(y_{i},f(x)) + \gamma T + \frac{1}{2} \lambda O_{value}^{2}$

$T$ 是叶子节点个数， $O_{value}$ 是叶子节点输出值，所以可见后两项的作用分别是当gamma>0时，叶子节点的个数就会被抑制，从而起到限制树的大小的作用；当lambda>0时， $O_{value}$ 就会被抑制，从而抑制了对独立数据点的敏感性，也就是增加了算法的抗噪性。

Output value 和 Similarity score

Output value

整个的决策过程其实就是不断最小化损失函数的过程，所以 $O_{value}$ 就是所有数据的损失函数和最小所对应的 $O_{value}$ 值，XGboost采用的是将损失函数通过二次展开后进行分析的。另外无论是分类还是回归，其初始值都是一个常数，默认情况 $f_{0}(x)$ = 0.5 ，所以损失函数的第一部分可以写成以下的样子,并进行泰勒展开

最低0.47元/天解锁文章

Lee_Yu_Rui

关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
打赏
0
评论
（保证能看懂系列）集成算法之Boosting -XGboost 详细原理

预备知识：（1）GBDT实现原理https://blog.csdn.net/Lee_Yu_Rui/article/details/107309184https://blog.csdn.net/Lee_Yu_Rui/article/details/107294360（2）bias 和 variance（3）L1 和 L2 正则化（Ridge和lasso回归）其本质就是通过L1或者L2正则化使得被正则化的元素之间变小的过程，比如RIdge对w或者说成直线的斜率进行L2正则化的时候，就会.
复制链接

扫一扫