算法强化 —— 提升树算法(一)

GBDT

首先GBDT是集成学习的一种，而且属于boosting家族。我们知道Bagging的思想比较简单，即每一次从原始数据中根据均匀概率分布有放回的抽取和原始数据大小相同的样本集合，样本点可能出现重复，然后对每一次产生的训练集构造一个分类器，再对分类器进行组合。常见的随机森林算法就是bagging的集成算法。

boosting的每一次抽样的样本分布都是不一样的。每一次迭代，都根据上一次迭代的结果，增加被错误分类的样本的权重，使得模型能在之后的迭代中更加注意到难以分类的样本，这是一个不断学习的过程，也是一个不断提升的过程，这也就是boosting思想的本质所在。
迭代之后，将每次迭代的基分类器进行集成。那么如何进行样本权重的调整和分类器的集成是我们需要考虑的关键问题。传统的Adaboost，利用前一轮迭代弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去。
GBDT同样也是一种迭代的方法，使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型，同时迭代思路和Adaboost也有所不同。

提升树

什么是残差

假设有一组数据$(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$有一个模型$F(x)$，用这个模型去拟合这一批数据，拟合的过程中使得我们选择的损失函数最小，最终成功拟合后，假设得到$F(x_1)=1.2,F(x_2)=2.5$,但实际$y_1=1.1,y_2=2.4$,可以看得出虽然已经拟合的不错了，但和真实的还是有一点差距，如果想要进一步提升拟合的效果，一个最直观的做法就是使用一个新的学习器对上一批数据拟合过后的残差进一步拟合，也就是形成了一批新的数据$$$(x_1,y_1-F(x_1)),(x_2,y_2-F(x_2)),...,(x_n,y_n-F(x_n))$,所以残差实际上真实值和预测值之差也就是$y-F(x)$

加法模型

提升树模型可以表示为以决策树为基本学习器的加法模型：
$$f(\mathbf{x})=f_M(\mathbf{x})=\sum _{m=1}^M{h}_m\left(\mathbf{x};a_m\right)$$
其中$h_m\left(\mathbf{x};a_m\right)$表示的是第m棵决策树
M表示基学习器决策树的数量
$a_m$表示决策树的参数

加法模型求解

最直观的是迭代求解，也称为前向分布算法
首先确定初始提升树：$f_0(x)=0$
然后第m步的模型为：$f_m(x)=f_{m-1}(x)+h\left(\mathbf{x};a_m\right)$
然后经过经验封箱极小化(损失函数)来确定${\hat{a}}_m={\mathrm{argmin}}_{a_m}{\sum }_{i=1}^{N}L\left(y_i,f_m\left(x_i\right)\right)$，其中L()为对应选择的损失函数

平方损失下的加法模型

损失函数是平方损失，
$$\text{loss}=\sum _{i=1}^{N}L\left(y_i,f_m\left(x_i\right)\right)=\sum _{i=1}^N{\left(y_i-f_{m-1}\left(x_i\right)-h_m\left(x_i;a_m\right)\right)}^2$$
可以看出$y_i-f_{m-1}\left(x_i\right)$实质上就是上面说的残差，也可以看出来基于加法模型的提升树算法当前的分类器实质上是在拟合上一个分类器之后数据的残差。