（ 保证能看懂系列）集成算法之Boosting -XGboost 详细原理

预备知识：

（1）GBDT实现原理

 https://blog.csdn.net/Lee_Yu_Rui/article/details/107309184

https://blog.csdn.net/Lee_Yu_Rui/article/details/107294360

（2）bias 和 variance

（3）L1 和 L2 正则化（Ridge和lasso回归）

其本质就是通过L1或者L2正则化使得被正则化的元素之间变小的过程，比如RIdge对w或者说成直线的斜率进行L2正则化的时候，就会使得最后的斜率相比正则化之间变小，这就较少了对数据自变量的敏感性，从而使得产生的拟合直线的bias增加，从而减少方差，提高泛化能力

假设预备知识都没有问题，我们开看看XGboost的原理。

根据boosting算法族的思路，根据前一个学习器的训练效果对样本分布进行调整，再根据新的样本分布训练下一个学习器。以前谈到的算法如 AdaBoost或者GBDT的弱分类器都是基于CART树进行的。这里XGboost有它自己生成决策树的方式，要生成一个决策树，主要就是解决3个方面：

（1）如何划分特征

（2）输出数据的规则（回归：采用何种计算输出值的方式，分类：大数原则还是加权概率等方式）

（3）如何在不同特征组合的树之间，选择一个最好的树（如CART分类是根据GINI系数增益，ID3 信息增益  C4.5信息增益率）

另外作为集成算法，还要（4）明确XGboost的损失函数以及最后的结合策略

所以本节会详细解释以上问题

明确XGboost的损失函数

XGboost的损失函数是在常规损失函数的基础上加入了L1正则项和L2正则项，所以降低XGboost过拟合的可能。

                                                              

是叶子节点个数， 是叶子节点输出值，所以可见后两项的作用分别是当gamma>0时，叶子节点的个数就会被抑制，从而起到限制树的大小的作用；当lambda>0时，就会被抑制，从而抑制了对独立数据点的敏感性，也就是增加了算法的抗噪性。

Output value 和 Similarity score

1. Output value

整个的决策过程其实就是不断最小化损失函数的过程，所以就是所有数据的损失函数和最小所对应的值，XGboost采用的是将损失函数通过二次展开后进行分析的。另外无论是分类还是回归，其初始值都是一个常数，默认情况 = 0.5 ，所以损失函数的第一部分可以写成以下的样子,并进行泰勒展开