【统计学习方法】第8章 提升方法

提升（boosting）方法是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。

1、提升方法AdaBoost算法

AdaBoost算法：

• 输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ X ⊆ R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_{i} \in \mathcal{X} \subseteq R^{n}, y_{i} \in \mathcal{Y} = \left\{ +1, -1 \right\}, i = 1, 2, \cdots, N xi​∈X⊆Rn,yi​∈Y={+1,−1},i=1,2,⋯,N；弱学习算法
• 输出：分类器$G\left(x\right)$

1. 初始化训练数据的权值分布$$\begin{array}{rl}& D_1=\left(w_{11},w_{12},\cdots ,w_{1N}\right),w_{1i}=\frac{1}{N},i=1,2,\cdots ,N\end{array}$$

2. 对$m=1,2,\cdots ,M$
   2.1使用具有权值分布$D_m$的训练数据集学习，得到基本分类器 G m ( x ) : X → { − 1 , + 1 } \begin{aligned} \\ & G_{m}\left(x\right): \mathcal{X} \to \left\{ -1, +1\right\} \end{aligned} ​Gm​(x):X→{−1,+1}​
   2.2 计算$G_m\left(x\right)$在训练数据集上的分类误差率
   $$\begin{array}{rl}& \\ & e_m=P\left(G_m\left(x_i\right)\ne y_i\right)\\ & =\sum _{i=1}^N{w}_{mi}I\left(G_m\left(x_i\right)\ne y_i\right)\end{array}$$
   2.3 计算$G_m\left(x\right)$的系数$$\begin{array}{rl}& \\ & {\alpha }_m=\frac{1}{2}\log \frac{1-e_m}{e_m}\end{array}$$2.4 更新训练数据集的权值分布$$\begin{array}{rl}& \\ & D_{m+1}=\left(w_{m+1,1},\cdots ,w_{m+1,i},\cdots ,w_{m+1,N}\right)\\ & w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp \left(-{\alpha }_m{y}_i{G}_m\left(x_i\right)\right),\\ & =\{\begin{array}{rl}& \frac{w_{mi}}{Z_m}\exp \left(-{\alpha }_m\right),G_m\left(x_i\right)=y_i\\ & \frac{w_{mi}}{Z_m}\exp \left({\alpha }_m\right),G_m\left(x_i\right)\ne y_i\end{array}i=1,2,\cdots ,N\end{array}$$其中，$Z_m$是规范化因子$$\begin{array}{rl}& \\ & Z_m＝\sum _{i=1}^N{w}_{mi}\exp \left(-{\alpha }_m{y}_i,G_m\left(x_i\right)\right)\end{array}$$

3. 构建基本分类器的线性组合$$\begin{array}{rl}& \\ & f\left(x\right)=\sum _{m=1}^M{\alpha }_m{G}_m\left(x\right)\end{array}$$
   得到最终分类器$$\begin{array}{rl}& \\ & G\left(x\right)=sign\left(f\left(x\right)\right)=sign\left(\sum _{m=1}^M{\alpha }_m{G}_m\left(x\right)\right)\end{array}$$

前向分布算法

加法模型$$\begin{array}{rl}& \\ & f\left(x\right)=\sum _{m=1}^M{\beta }_{m}b\left(x;{\gamma }_m\right)\end{array}$$其中，$b\left(x;{\gamma }_m\right)$为基函数，${\beta }_m$为基函数系数，${\gamma }_m$为基函数参数。

在给定训练数据及损失函数$L\left(y,f\left(x\right)\right)$的条件下，学习加法模型$f\left(x\right)$成为经验风险极小化问题$$\begin{array}{rl}& \\ & \underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L\left(y_i,\sum _{m=1}^M{\beta }_{m}b\left(x_i;{\gamma }_m\right)\right)\end{array}$$

学习加法模型，从前向后每一步只学习一个基函数及其系数，即每步只优化$$\begin{array}{rl}& \\ & \underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L\left(y_i,\beta b\left(x_i;\gamma \right)\right)\end{array}$$

前向分布算法：

• 输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，损失函数$L\left(y,f\left(x\right)\right)$；基函数集 { b ( x ; γ ) } \left\{b\left(x;\gamma\right)\right\} {b(x;γ)}
• 输出：加法模型$f\left(x\right)$

1. 初始化$f_0\left(x\right)=0$
2. 对$m=1,2,\cdots ,M$
   2.1 极小化损失函数$$\begin{array}{rl}& \\ & \left({\beta }_m,{\gamma }_m\right)=\arg \underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L\left(y_i,f_{m-1}\left(x_i\right)+\beta b\left(x_i;\gamma \right)\right)\end{array}$$得到参数${\beta }_m,{\gamma }_m$
   2.2 更新
   $$\begin{array}{rl}& \\ & f_m\left(x\right)=f_{m-1}\left(x\right)+{\beta }_{m}b\left(x;{\gamma }_m\right)\end{array}$$
3. 得到加法模型$$\begin{array}{rl}& \\ & f\left(x\right)=f_M\left(x\right)=\sum _{m=1}^M{\beta }_{m}b\left(x;{\gamma }_m\right)\end{array}$$

提升树算法

训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } \begin{aligned} & T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\} \end{aligned} ​T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}​

其中，$x_i\in \mathcal{X}\subseteq R^n,y_i\in \mathcal{Y}\subseteq R,i=1,2,\cdots ,N$。

将输入空间$\mathcal{X}$划分为$J$个互不相交的区域$R_1,R_2,\cdots ,R_J$，且在每个区域上确定输出的常量$c_j$，则回归树$$\begin{array}{rl}& \\ & T\left(x;\Theta \right)=\sum _{j=1}^J{c}_{j}I\left(x\in R_j\right)\end{array}$$其中，参数 Θ = { ( R 1 , c 1 ) , ( R 2 , c 2 ) , ⋯   , ( R J , c J ) } \varTheta = \left\{ \left(R_{1}, c_{1}\right),\left(R_{2}, c_{2}\right),\cdots,\left(R_{J}, c_{J}\right) \right\} Θ={(R1​,c1​),(R2​,c2​),⋯,(RJ​,cJ​)}表示树的区域划分和各区域上的常数。$J$是回归树的负责度即叶结点个数。

回归提升树使用前向分布算法$$\begin{array}{rl}& \\ & f_0=0\\ & f_m\left(x\right)=f_{m-1}\left(x\right)+T\left(x;{\Theta }_m\right)\\ & f_M=\sum _{m=1}^{M}T\left(x;{\Theta }_m\right)\end{array}$$

在前向分布算法的第$m$步给定当前模型$f_{m-1}\left(x\right)$，模型参数$$\begin{array}{rl}& \\ & {\hat{\Theta }}_m=\arg \underset{{\Theta }_m}{\min }\sum _{i=1}^{N}L\left(y_i,f_{m-1}\left(x_i\right)+T\left(x_i;{\Theta }_m\right)\right)\end{array}$$得到第$m$棵树的参数${\hat{\Theta }}_m$

当采用平方误差损失函数$$\begin{array}{rl}& L\left(y,f_{m-1}\left(x\right)+T\left(x;{\Theta }_m\right)\right)\\ & ={\left[y-f_{m-1}\left(x\right)-T\left(x;{\Theta }_m\right)\right]}^2\\ & ={\left[r-T\left(x;{\Theta }_m\right)\right]}^2\end{array}$$其中，$r=y-f_{m-1}\left(x\right)$是当前模型拟合数据的残差。

回归提升树算法：

• 输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } , x i ∈ X ⊆ R n , y i ∈ Y ⊆ R , i = 1 , 2 , ⋯   , N T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\},x_{i} \in \mathcal{X} \subseteq R^{n}, y_{i} \in \mathcal{Y} \subseteq R, i = 1, 2, \cdots, N T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)},xi​∈X⊆Rn,yi​∈Y⊆R,i=1,2,⋯,N
• 输出：回归提升树$f_M\left(x\right)$

1. 初始化$f_0\left(x\right)=0$
2. 对$m=1,2,\cdots ,M$
   2.1 计算残差$$\begin{array}{rl}& \\ & r_{mi}=y_i-f_{m-1}\left(x_i\right),i=1,2,\cdots ,N\end{array}$$
   2.2 拟合残差$r_{mi}$学习一个回归树，得到$T\left(x;{\Theta }_m\right)$
   2.3 更新$f_m=f_{m-1}\left(x\right)+T\left(x;{\Theta }_m\right)$
3. 得到回归提升树$$\begin{array}{rl}& \\ & f_M\left(x\right)=\sum _{m=1}^{M}T\left(x;{\Theta }_m\right)\end{array}$$

梯度提升算法：

• 输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } , x i ∈ X ⊆ R n , y i ∈ Y ⊆ R , i = 1 , 2 , ⋯   , N T = \left\{ \left( x_{1}, y_{1} \right), \left( x_{2}, y_{2} \right), \cdots, \left( x_{N}, y_{N} \right) \right\},x_{i} \in \mathcal{X} \subseteq R^{n}, y_{i} \in \mathcal{Y} \subseteq R, i = 1, 2, \cdots, N T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)},xi​∈X⊆Rn,yi​∈Y⊆R,i=1,2,⋯,N，损失函数$L\left(y,f\left(x\right)\right)$
• 输出：回归树$\hat{f}\left(x\right)$

1. 初始化$$\begin{array}{rl}& f_0\left(x\right)=\arg \underset{c}{\min }\sum _{i=1}^{N}L\left(y_i,c\right)\end{array}$$
2. 对$m=1,2,\cdots ,M$
   2.1 对$i=1,2,\cdots ,N$计算$$\begin{array}{rl}& \\ & r_{mi}=-{\left[\frac{\partial L\left(y_i,f\left(x_i\right)\right)}{\partial f\left(x_i\right)}\right]}_{f\left(x\right)=f_{m-1}\left(x\right)}\end{array}$$
   2.2 对$r_{mi}$拟合回归树，得到第$m$棵树的叶结点区域$R_{mj},j=1,2,\cdots ,J$
   2.3 对$j=1,2,\cdots ,J$计算$$\begin{array}{rl}& \\ & c_{mj}=\arg \underset{c}{\min }\sum _{x_i\in R_{mj}}L\left(y_i,f_{m-1}\left(x_i\right)+c\right)\end{array}$$2.4 更新$f_m\left(x\right)=f_{m-1}\left(x\right)+{\sum }_{j=1}^J{c}_{mj}I\left(x\in R_{mj}\right)$
3. 得到回归树$$\begin{array}{rl}& \\ & \hat{f}\left(x\right)=f_M\left(x\right)=\sum _{m=1}^M\sum _{j=1}^J{c}_{mj}I\left(x\in R_{mj}\right)\end{array}$$

2、概要总结

1．提升方法是将弱学习算法提升为强学习算法的统计学习方法。在分类学习中，提升方法通过反复修改训练数据的权值分布，构建一系列基本分类器（弱分类器），并将这些基本分类器线性组合，构成一个强分类器。代表性的提升方法是AdaBoost算法。

AdaBoost模型是弱分类器的线性组合：

$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$

2．AdaBoost算法的特点是通过迭代每次学习一个基本分类器。每次迭代中，提高那些被前一轮分类器错误分类数据的权值，而降低那些被正确分类的数据的权值。最后，AdaBoost将基本分类器的线性组合作为强分类器，其中给分类误差率小的基本分类器以大的权值，给分类误差率大的基本分类器以小的权值。

3．AdaBoost的训练误差分析表明，AdaBoost的每次迭代可以减少它在训练数据集上的分类误差率，这说明了它作为提升方法的有效性。

4．AdaBoost算法的一个解释是该算法实际是前向分步算法的一个实现。在这个方法里，模型是加法模型，损失函数是指数损失，算法是前向分步算法。 每一步中极小化损失函数

$$\left({\beta }_m,{\gamma }_m\right)=\arg \underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L\left(y_i,f_{m-1}\left(x_i\right)+\beta b\left(x_i;\gamma \right)\right)$$

得到参数${\beta }_m,{\gamma }_m$。

5．提升树是以分类树或回归树为基本分类器的提升方法。提升树被认为是统计学习中最有效的方法之一。