集成学习 | 集成学习思想：Boosting思想 | XGBoost算法、LightGBM算法

上一篇文章中，我们了解了Boosting思想的两种算法：Adboost和GBDT；其中对于GBDT算法，存在两种改进，即：

• XGBoost
• LightGBM

一. XGBoost 算法

XGBoost是GBDT(梯度提升树)的一个改进版本
    能够更快的、更高效率的训练模型
    X代表的就是eXtreme（极致）

	学习器：
		决策树
		将这些决策树称为”弱学习器“，这些”弱学习器“共同组成了XGboost
	算法思想：
		XGBoost的决策树之间是有先后顺序
		后一棵决策树的生成会考虑前一棵决策树的预测结果，即：将前一棵决策树的偏差考虑在内，也就是更改y值
	数据使用：
		生成每棵决策树使用的是整个数据集

1. XGBoost 算法流程

1. 构造初始化常数函数，以及模型跟新
   $F_0(x)=f_0(x)=0$

   $F_1(x)=F_0(x)+f_1(x)$

   $F_2(x)=F_1(x)+f_2(x)$

   $......$

   $F_0(x)=F_{(k-1)}(x)+f_k(x)$

   我们的目标为：求出函数$f_1(x)$，$f_2(x)$，…，$f_k(x)$

2. 定义损失函数
   XGBoost算法的损失函数：在GBDT的基础上增加了正则化项，用于限制模型的复杂度
   $$obj=\sum _{i=1}^{n}L\left(y_i,F_i^{(k)}(x)\right)+\sum _{i=1}^k\Omega \left(f_i\right)$$

   公式解释：
    
   $obj函数$ 为构建$k$棵树的总损失

   预测误差 + 每棵树复杂度的惩罚项

   对于正则化项，我们做出以下公式优化：
   $$f_k(x)=w_{q(x)}$$
   $$\Omega (f)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$$

   公式解释：
   $f_k(x)$可以表示一棵树

   f 是一棵决策树，$f_k$是第$k$棵决策树
   x 是一个样本，丢进$f函数$中就需要对该样本进行预测
   $q(x)$ 表示进入的样本x落在哪个叶子节点中
   $w_{q(x)}$ 是叶子节点$q(x)$的值

   先算在哪个叶子节点上，然后根据该叶子节点的值返回

   $\Omega (f)$可以表示一棵树的复杂程度

   T 表示这棵决策树叶子节点的数量：叶子节点越多，决策树越复杂
   $w_j^2$ 表示所有叶子节点值的平方和

   $w$为叶子节点的值
   由于每个弱学习器拟合的都是残差，所以$w$不能太大
   如果模型企图去拟合离群点，那么$w$就会变大

   此时，目标函数可以写为
   $$L^k=\sum _{i=1}^{n}L\left[y_i,F_{k-1}(x)+f_k\left(x_i\right)\right]+\sum _{j=1}^K\Omega \left(f_j\right)$$

   公式推导：
    
   $L^k$
    
   = ∑ i = 1 n L [ y i , F k − 1 ( x ) + f k ( x i ) ] + ∑ j = 1 K Ω ( f j ) =\sum_{i=1}^{n} L\left[y_{i}, F_{k-1}(x)+f_{k}\left(x_{i}\right)\right]+\sum_{j=1}^{K} \Omega\left(f_{j}\right) =∑i=1n​L[yi​,Fk−1​(x)+fk​(xi​)]+∑