集成学习——Boosting的基础概念

Boosting

分类问题中，通过改变训练数据的权值学习多个弱分类器，并将多个弱分类器进行线性组合，形成一个强分类器。

具有代表性的算法：

• AdaBoost
• 提升树

一、AdaBoost

1. 如何改变训练数据的权值？
   A：对上一轮分类错误的样本加大权重，对分类正确的样本减小权重，使得当前分类器更加注意分类错误的样本。则分类问题被多个弱分类器“分而治之”

2. 如何将弱分类器进行线性组合获取强分类器？
   A：采用多数表决的方法：加大分类误差率小的弱分类器的权值，使其在表决过程中起较大的作用，较小分类误差率大的弱分类器的权值，使其在表决过程中起较小的作用

AdaBoost算法
输入：训练数据$T=(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)$，其中 x i ∈ X ⊆ R n , y i ∈ Y = { + 1 , − 1 } x_{i}\in \mathcal{X} \subseteq R^{n}, y_{i}\in \mathcal{Y}=\{+1, -1\} xi​∈X⊆Rn,yi​∈Y={+1,−1};弱分类器
输出：强分类器$G(x)$
（1）初始化训练数据的权值分布
D 1 = { w 11 , ⋯   , w 1 i , ⋯   , w 1 N } , w 1 i = 1 N , i = 1 , 2 , ⋯   , N D_{1}=\{w_{11},\cdots,w_{1i},\cdots,w_{1N}\},w_{1i}=\frac{1}{N},i=1,2,\cdots,N D1​={w11​,⋯,w1i​,⋯,w1N​},w1i​=N1​,i=1,2,⋯,N
（2）对$m=1,2,\cdots ,M$
1. 使用具有权值分布$D_m$的训练数据集学习，得到基本分类器：
G m : X → { + 1 , − 1 } G_{m}:\mathcal{X}\to \{+1,-1\} Gm​:X→{+1,−1}
2. 计算$G_m$在训练数据集上的分类误差率：
$$e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}\mathcal{I}(G_m(x_i)\ne y_i)=\sum _{G(x_i)\ne y_i}{w}_{mi}$$
3. 计算弱分类器$G_m$的组合系数${\alpha }_m$:
$${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$
4. 更新训练数据的权值分布：
D m + 1 = { w m + 1 , 1 , ⋯   , w m + 1 , i , ⋯   , w m + 1 , N } D_{m+1}=\{w_{m+1,1},\cdots,w_{m+1,i},\cdots,w_{m+1,N}\} Dm+1​={wm+1,1​,⋯,wm+1,i​,⋯,wm+1,N​}
其中$w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i))$，${\sum }_{i=1}^N{w}_{m,i}=1$，$Z_m$为规范化因子，即$Z_m={\sum }_{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$，$D_{M+1}$成为一个概率分布。
（3）构建基本分类器的线性组合：
$$f(x)=\sum _{i=1}^M{\alpha }_i{G}_m(x)$$
得到最终分类器：$G(x)=sign(f(x))$

说明：
（1）首先假设训练数据具有均值分布，保证能够在原始数据集上学习$G_1(x)$
（2）反复学习基本分类器，在每一轮$m=1,2,\cdots ,M$中执行以下操作：
a)使用当前分布$D_m$加权的训练数据集学习基本分类器$G_m(x)$
b)计算当前分类器在加权训练数据集上的分类误差率$e_m$
c)计算基本分类器的组合系数${\alpha }_m$，$e_m$表示$G_m$在最终分类器中的重要性，当$e_m\le \frac{1}{2}$时，$\alpha \ge 0$，并且$\alpha$随着$e_m$的减小而增大
d)更新训练数据的权值：误分类样本的权值被放大$exp(2{\alpha }_m)$

二、前向分布算法

加法模型：$$f(x)=\sum _{m=1}^M{\beta }_{m}b(x,{\gamma }_m)$$其中,$b(x,{\gamma }_m)$为基函数，${\beta }_m$表示基函数的系数
给定训练数据和损失函数$L(y,f(x))$的条件下，极小化损失函数学习加法模型：
$$\underset{{\gamma }_m,{\beta }_m}{\min }L(y_i,f(x))$$
直接优化上述问题较困难，优化思想：从前往后，每一步优化一个基函数及其系数，简化优化的复杂度

前向分布算法
输入：训练数据集$T=(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)$，损失函数$L(y,f(x))$，基函数集 { b ( x ; γ ) } \{b(x;\gamma)\} {b(x;γ)}
输出：加法模型：$$f(x)=\sum _{m=1}^M{\beta }_{m}b(x,{\gamma }_m)$$

（1）初始化$f_0(x)=0$
（2）对$m=1,2,\cdots ,M,$
1. 极小化损失函数:$$({\beta }_m,{\gamma }_m)=\underset{\beta ,\gamma }{\mathrm{argmin}}\sum _{i=1}^{N}L(y_i,f_{m-1}(x)+\beta b(x;\gamma ))$$
得到参数${\beta }_m,{\gamma }_m$
2. 更新：$$f_m(x)=f_{m-1}+{\beta }_{m}b(x,{\gamma }_m)$$
（3）得到加法模型
$$f(x)=f_M(x)=\sum _{m=1}^M{\beta }_{m}b(x,{\gamma }_m)$$

三、提升树

提升树是以分类树或回归树为基本分类器的Boosting
可以表示为决策树的加法模型：$$f(x)=\sum _{i=1}^{M}T(x,{\Theta }_m)$$

提升树算法
采用前向分布算法
输入：初始提升树$f_0(x)=0$，第$m$步的模型为：
$$f_m=f_{m-1}+T(x,{\Theta }_m)$$
其中，$f_{m-1}$为当前模型，通过经验风险最小化确定下一棵决策树的参数：${\Theta }_m$
$${\hat{\Theta }}_m=\underset{{\Theta }_m}{\mathrm{argmin}}\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+T(x_i,{\Theta }_m)$$

对于二分类问题，基础分类器为二分类树
对于回归问题：将输入空间划分为$J$个互不相交的趋于$R_i,\cdots ,R_J$
将树表示为$$T(x,{\Theta }_m)=\sum _{j=1}^J{c}_{j}I(x\in R_j)$$
参数$\Theta =\{(R_1,c_1),\cdots ,(R_m,c_m)\}$表示树的区域划分和各区域上的常数，$J$表示回归树的叶子节点树（复杂度）

采用平方损失函数，$L(y,f(x))=(y-f(x){)}^2$
则损失$$L(y,f_{m-1}(x)+T(x,{\Theta }_m))=(y-f_{m-1}(x)-T(x,{\Theta }_m){)}^2=(r-T(x,{\Theta }_m){)}^2$$
其中，$r=y-f_{m-1}(x)$表示当前模型残差，即只需要用$T(x,{\Theta }_m)$拟合该残差

总结

1. Boosting是将弱分类器提升为强分类器的算法，通过不断修改训练数据的权值分布，构建一系列弱分类器，然后将弱分类器线性组合，构成一个强分类器。代表性的算法：AdaBoost，
   弱分类器的线性组合模型为
   $$f(x)=\sum _{i=1}^M{\alpha }_m{G}_m(x)$$
2. AdaBoost 的特点：通过迭代每次学习一个弱分类器。
   每次迭代中，提高前一轮被分类错误样本的权重，降低被分类正确样本的权重。最后，将基本分类器的现象组合作为强分类器，其中给分类误差率小的基本分类器以较大的权值，给分类误差率大的基本分类器以较小的权值
3. AdaBoost本质是一个前向分布算法
4. 提升树是以分类树或回归树为基本分类器的Boosting