Datawhale-集成学习Day6-XGBoost

1. 前置知识——泰勒公式

学过高等数学的话，我们就可以知道泰勒公式。这是一个很美妙的公式，其最大的贡献就是可以通过多项式来表示其他函数。也就是说，我们可以将一些不规则的函数转化为一个无限项的多项式。

带有Peano余项的泰勒公式：
$$f(x)=f(x_0)+f^{‘}(x_0)(x-x_0)+\frac{f^{‘‘}(x_0)}{2!}(x-x_0{)}^2+\cdots +\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n+o((x-x_0{)}^n)$$
其中$o((x-x_0{)}^n)$表示为$(x-x_0{)}^n$的高阶无穷小。在一定情况下可以忽略。

带有拉格朗日余项的泰勒公式：
$$f(x)=f(x_0)+f^{‘}(x_0)(x-x_0)+\frac{f^{‘‘}(x_0)}{2!}(x-x_0{)}^2+\cdots +\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n+R_n(x)$$
其中：
$$R_n(x)=\frac{f^{(n+1)}(\zeta )}{(n+1)!}(x-x_0{)}^{n+1}$$
两者的区别：一般来说，我们想要研究函数的整体性质的时候可以使用Peano余项的泰勒公式，当我们想要研究函数的局部性质的时候我们可以选择使用带有拉格朗日余项的泰勒公式。

2. XGBoost

在前面的文章中，我们介绍了提升树和GBDT。但是在GBDT中，我们并没有说loss和punish项该如何设置。而在XGBoost中，陈天奇大佬设计了一种计算损失的方式。

首先，如果我们想要模型不仅对已知数据具有很好的训练效果，还想要模型有很好的泛化效果的话。我们就需要控制模型的复杂度。一般来说，过于复杂的模型，对已知数据的拟合效果效果很好，但是会造成过拟合。因此我们需要控制模型的复杂度，不仅需要很好的拟合效果，还不能造成过拟合。所以，我们将目标函数设置为：
$$\mathcal{L}(\varphi )=\sum _{i}l\left({\hat{y}}_i,y_i\right)+\sum _k\Omega \left(f_k\right)$$
其中，前面一项是整个模型的损失，后面一项是惩罚项，用来控制模型的复杂度。

根据GBDT的思想，我们使用前向分布算法来优化模型。假设$T_1\cdots T_{n-1}$棵树已经训练完毕。那么，我们在后面的训练中将不再训练这前n-1棵树。然后，第n棵树可以表示为:
$$f_n(x)=f_{n-1}(x)+T_n(x;\theta )$$
因此：损失函数：
$$\begin{gathered} {\mathcal{L}}_n(\varphi )=\sum _{i}l(y_i,f_n(x_i))+\sum _t^n\Omega (T_t) \\ =\sum _{i}l(y_i,f_n(x_i))+\Omega (f_n)+\sum _t^{n-1}\Omega (T_t) \\ =\sum _{i}l(y_i,f_{n-1}(x_i)+T_n(x;\theta ))+\Omega (T_n)+\sum _t^{n-1}\Omega (T_t) \end{gathered}$$
因为前n-1棵树已经训练完成，所以最后一项为常数，可以不用考虑。

对损失函数展开二阶泰勒：
$${\mathcal{L}}_n\simeq \sum _{i=1}\left[l\left(y_i,f_{n-1}(xi)\right)+g_i{T}_n\left({\mathrm{x}}_i\right)+\frac{1}{2}{h}_i{T}_n^2\left({\mathrm{x}}_i\right)\right]+\Omega \left(T_n\right)$$
其中：
$$\begin{gathered} g_i=\frac{\partial l(y_i,f_{n-1}(x_i))}{\partial f_{n-1}(x_i)} \\ {h}_i=\frac{{\partial }^{2}l(y_i,f_{n-1}(x_i))}{{\partial }^2{f}_{n-1}(x_i)} \end{gathered}$$
而且，因为前n-1棵树已经确定，所以损失也是确定的。损失中的第一项，已为常数，因此也可以消去。

此时，剩余的就是：
$${\mathcal{L}}_n=\sum _{i=1}\left[g_i{T}_n\left({\mathrm{x}}_i\right)+\frac{1}{2}{h}_i{T}_n^2\left({\mathrm{x}}_i\right)\right]+\Omega \left(T_n\right)$$
然后就是定义惩罚项，惩罚项表示的是模型的复杂度：
$$\Omega \left(f_n\right)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$$
其中，T是决策树的叶子节点的个数。KaTeX parse error: Undefined control sequence: \w at position 1: \̲w̲_j^2是叶子节点j的输出。

综合一下后：
$$\begin{gathered} {\mathcal{L}}_n=\sum _{i=1}\left[g_i{T}_n\left({\mathrm{x}}_i\right)+\frac{1}{2}{h}_i{T}_n^2\left({\mathrm{x}}_i\right)\right]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2 \\ =\sum _{j=1}^T[(\sum _{i\in I_j}{g}_i)w_{q(x_i)}+\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda )w_j^2]+\gamma T \end{gathered}$$
我们可以看出，这是一个关于$w$的二次式。

然后，我们可以选用精确贪心算法，来选择分裂的节点。