Boosting ---- 加法模型、前向分步、Gradient Boosting、AdaBoost、GBDT

加法模型

加法模型 (additive model) 形式如下：
$$f(x)=\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$$
其中，$b(x;{\gamma }_m)$是第$m$个基函数，${\gamma }_m$是第$m$个基函数的模型参数，${\beta }_m$是第$m$个基函数的权重。由此可见，加法模型实际上由一系列基函数的加权相加得到。
在给定训练数据 { ( x 0 , y 0 ) , ( x 1 , y 1 ) , . . . , ( x N , y N ) } \{(x_0, y_0), (x_1, y_1), ..., (x_N, y_N)\} { (x0​,y0​),(x1​,y1​),...,(xN​,yN​)}及损失函数$L(y,f(x))$的情况下，学习加法模型$f(x)$即损失函数极小化问题：
$$\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L(y_i,\sum _{m=1}^M{\beta }_{m}b(x_i;{\gamma }_m))$$

因此可以看出加法模型的学习过程实际上是一个非常复杂的优化问题。

前向分步算法

前向分步算法 (forward stagewise algorithm) 是求解上述优化问题的一种算法，其思想是：从前往后，每一步只学习一个基函数及其系数，逐步逼近优化损失函数，从而简化优化的复杂度。其算法过程如下：

输入：训练数据集 { ( x 0 , y 0 ) , ( x 1 , y 1 ) , . . . , ( x N , y N ) } \{(x_0, y_0), (x_1, y_1), ..., (x_N, y_N)\} { (x0​,y0​),(x1​,y1​),...,(xN​,yN​)}； 损失函数$L(y,f(x))$；基函数集 { b ( x ; γ ) } \{b(x;\gamma)\} { b(x;γ)} (参数未优化)
输出：加法模型$f(x)$

1. 初始化$f_0(x)=0$

2. 对$m=1,2,...,M$
   (1) 极小化损失函数，得到参数${\beta }_m,{\gamma }_m$

   $$({\beta }_m,{\gamma }_m)=\arg \underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+\beta b(x_i;\gamma ))$$
   (2) 更新
   $$f_m(x)=f_{m-1}(x)+{\beta }_{m}b(x;{\gamma }_m)$$

3. 得到最终的加法模型
   $$f(x)=f_m(x)=\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$$

前向分步算法将同时求解$M$个基函数的参数及系数的优化问题，简化成了逐步求解每个基函数的参数及系数的优化问题。前向分步算法的第$m$个基函数参数及系数${\beta }_m,{\gamma }_m$的确定，仅考虑当前状态下使损失函数极小化即局部最优解，是一种贪婪算法，不一定能够得到全局最优解。
集成模型的提升 (Boosting) 方法即采用了加法模型与前向分布算法。 以决策树为基函数的提升方法成为提升树。

AdaBoost

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器 (弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器 (强分类器)。AdaBoost是一种集成学习中的Boosting算法。

AdaBoost的主要思想：

• 先训练出一个基学习器
• 根据该学习器的表现对训练样本分布进行调整，使得现有基学习器做错的样本在后续学习器的训练中受到更多关注 (即增加权重)
• 基于调整后的样本分布来训练下一个基学习器
• 如此重复进行直至基学习器数目达到事先指定的值$M$
• 最终将这$M$个基学习器进行加权结合

AdaBoost的函数形式如下：
$$H(x)=\sum _{m=1}^M{\alpha }_m{h}_m(x)$$
由此可见，AdaBoost是一种加法模型。AdaBoost的损失函数采用指数损失：
$$Loss=\sum _{i=1}^N{e}^{-y_{i}H(x_i)}$$
在这里， y i ∈ { − 1 , + 1 } y_i \in \{-1, +1\} yi​∈{ −1,+1}。
当 $y_i=H(x_i)$时， $-y_{i}H(x_i)=-1$
当 $y_i\ne H(x_i)$时， $-y_{i}H(x_i)=1$

AdaBoost算法过程如下：

输入：训练数据集 { ( x 0 , y 0 ) , ( x 1 , y 1 ) , . . . , ( x N , y N ) } \{(x_0, y_0), (x_1, y_1), ..., (x_N, y_N)\} { (x0​,y0​),(x1​,y1​),...,(xN​,yN​)}，其中 y i ∈ { − 1 , + 1 } y_i \in \{-1, +1\} yi​∈{ −1,+1}；基分类器 { h ( x ) } \{h(x)\} { h(x)} (参数未优化)
输出：强分类器$H(x)$

1. 初始化训练数据的权值分布$D_1=(w_{1,1},w_{1,2},\dots ,w_{1,N}),w_{1,i}$