【ML】AdaBoost（Boosting集成）

  Boosting算法是将“弱学习算法“提升为“强学习算法”的过程，提升方法主要思想是：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好，“三个臭皮匠顶个诸葛亮”。一般来说，找到弱学习算法要相对容易一些，然后通过反复学习得到一系列弱分类器，组合这些弱分类器得到一个强分类器。

AdaBoost核心问题

• 在每一轮如何改变训练数据的权值或概率分布；
  • AdaBoost：提高那些被前一轮弱分类器错误分类样本的权值，降低那些被正确分类样本的权值。
• 如何将弱分类器组合成一个强分类器。
  • AdaBoost：加权多数表决，具体地，加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用，减小分类误差率大的弱分类器的权值，使其在表决中起较小的作用。

AdaBoost算法流程

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\} T={(x1​,y1​),(x2​,y2​),...,(xn​,yn​)}，其中实例$x_i\in \mathcal{X}\subseteq {\mathbb{R}}^n$，标记 y i ∈ Y = { − 1 , 1 } y_i\in\mathcal{Y}=\{-1,1\} yi​∈Y={−1,1}，$\mathcal{X}$是实例空间，$\mathcal{Y}$是标记集合；若学习算法。
输出：最终分类器$G(x)$。

1.初始化训练数据的权值分布
$$D_1=(w_{11},...,w_{1i},...,w_{1n}),w_{1i}=\frac{1}{n},i=1,2,...,n$$

假设训练数据集具有均匀的权值分布，即每个训练样本在基本分类器的学习中作用相同，这一假设保证第1步能够在原始数据上学习基分类器$G_1(x)$；

2.对 $m=1,...,M$

a. 使用具有权值分布$D_m$的训练数据集学习，得到使分类误差率最小的基分类器
G m ( x ) : X → { − 1 , 1 } G_m(x): \mathcal{X}\rightarrow \{-1,1\} Gm​(x):X→{−1,1}

b. 计算$G_m(x)$在训练数据集上的分类误差率
e m = P ( G m ( x i ) ≠ y i ) = ∑ G m ( x i ) ≠ y i w m i = ∑ i = 1 N w m i I { G m ( x i ) ≠ y i } e_m=P(G_m(x_i)\neq y_i)=\sum_{G_m(x_i)\neq y_i}w_{mi}=\sum_{i=1}^Nw_{mi}I\{G_m(x_i)\neq y_i\} em​=P(Gm​(xi​)​=yi​)=Gm​(xi​)​=yi​∑​wmi​=i=1∑N​wmi​I{Gm​(xi​)​=yi​}

$G_m(x)$在加权的训练数据集上的分类误差率是被$G_m(x)$误分类样本的权值之和，由此可以看出数据权值分布$D_m$与基本分类器$G_m(x)$的分类误差率的关系。

c. 计算$G_m(x)$分类器的权重系数
$${\alpha }_m=\frac{1}{2}{\log }_e\frac{1-e_m}{e_m}$$

当$e_m\le \frac{1}{2}$时，${\alpha }_m\ge 0$，并且${\alpha }_m$随着$e_m$的减小而增大，所以，分类误差率越小的基本分类器在最终分类器中的作用越大。

d. 更新训练数据集的权值分布
$$D_{m+1}=(w_{m+1,1},...,w_{m+1,i},...,w_{m+1,n})$$

$$w_{m+1,i}=\frac{w_{mi}}{Z_m}{e}^{-{\alpha }_m{y}_i{G}_m(x_i)},i=1,2,...,n$$

这里，$Z_m$是规范化因子，
$$Z_m=\sum _{i=1}^n{w}_{mi}{e}^{-{\alpha }_m{y}_i{G}_m(x_i)}$$

它使$D_{m+1}$成为一个概率分布。

$$w_{m+1,i}=\{\begin{array}{l}\frac{w_{mi}}{Z_m}{e}^{-{\alpha }_m},G_m(x_i)=y_i\\ \\ \frac{w_{mi}}{Z_m}{e}^{{\alpha }_m},G_m(x_i)\ne y_i\end{array}$$
被基本分类器$G_m(x)$误分类样本的权值得以扩大，而被正确分类样本的权值得以缩小，比较而言，误分类样本权值被放大$e^{2{\alpha }_m}=\frac{e_m}{1-e_m}$

3.构建基本分类器的线性组合
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$

得到最终分类器，
$$G(x)=sign(f(x))=sign(\sum _{m=1}^M{\alpha }_m{G}_m(x))$$

线性组合$f(x)$实现$M$个基本分类器的加权表决。系数${\alpha }_m$表示了基分类器$G_m(x)$的重要性，这里，所有${\alpha }_m$之和并不为1。$f(x)$的符号决定实例$x$的分类，$f(x)$的绝对值表示分类的确信度。

---

理解AdaBoost

前向分步算法

  加法模型是指由一系列弱分类器线性相加而成的强分类器。一般组合形式如下：
$$f(x)=\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$$
其中，$b(x;{\gamma }_m)$为基函数，就是一个个的弱分类器，${\gamma }_m$是弱分类器学习到的最优参数，${\alpha }_m$是弱分类器在强分类器中所占比重。

  在给定训练数据及损失函数$L(y,f(x))$的条件下，学习加法模型$f(x)$称为经验风险最小化即损失函数极小化问题：
$$\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{n}L\left(y_i,\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)\right)$$

  通常这是一个复杂的优化问题。前向分步算法求解这一优化问题的思想是：从前向后，每一步只学习一个基函数及其系数，逐步逼近优化目标函数，简化优化的复杂度。具体地，每一步只需优化如下损失函数：
$$\underset{\beta ,\gamma }{\min }\sum _{i=1}^{n}L\left(y_i,\beta b(x_i;\gamma )\right)$$

前向分步算法与AdaBoost

  AdaBoost算法可以认为是模型为加法模型、损失函数为指数函数、学习算法为前向分步算法时的二分类学习方法。
  AdaBoost的最终分类器：
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$
显然这是一个加法模型。下面证明AdaBoost算法等价于损失函数是指数损失函数的前向分布算法，
$$L(y,f(x))=exp[-yf(x)]$$

  假设经过$m-1$次携带向前分布算法得到$f_{m-1}(x)$，
$$f_{m-1}(x)=f_{m-2}(x)+{\alpha }_{m-1}{G}_{m-1}(x)={\alpha }_1{G}_1(x)+...+{\alpha }_{m-1}{G}_{m-1}(x)$$

在前向分布算法第$m$次迭代，我们的目标是寻找${\alpha }_m$和$G_m(x)$使$f_m(x)$在训练数据集上的指数损失最小，即
$$({\alpha }_m,G_m(x))=\arg \underset{\alpha ,G}{\min }\sum _{i=1}^{n}exp[-y_i(f_{m-1}(x_i)+\alpha G(x_i))]$$

令${\bar{w}}_{mi}=exp[-y_i{f}_{m-1}(x_i)]$，这里，${\bar{w}}_{mi}$不依赖与$\alpha$和$G$，因此与最小化无关，可写目标函数
$$({\alpha }_m,G_m(x))=\arg \underset{\alpha ,G}{\min }\sum _{i=1}^n{\bar{w}}_{mi}exp[-y_i\alpha G(x_i)](1)$$

但${\bar{w}}_{mi}$依赖于$f_{m-1}(x_i)$，随着每一轮迭代发生改变。

∑ i = 1 n w ˉ m i e x p [ − y i α G ( x i ) ] = ∑ i = 1 n w ˉ m i [ e α I { G m ( x i ) ≠ y i } + e − α I { G m ( x i ) = y i } ] = ∑ i = 1 n w ˉ m i [ e α I { G m ( x i ) ≠ y i } + e − α ( 1 − I { G m ( x i ) ≠ y i } ) ] = e − α ∑ i = 1 n w ˉ m i + ( e α − e − α ) ∑ i = 1 n w ˉ m i I { G m ( x i ) ≠ y i } \begin{aligned} \sum_{i=1}^n\bar{w}_{mi}exp[-y_i\alpha G(x_i)]&=\sum_{i=1}^n\bar{w}_{mi}[e^\alpha I_{\{G_m(x_i)\neq y_i\}}+e^{-\alpha} I_{\{G_m(x_i)= y_i\}}]\\ &=\sum_{i=1}^n\bar{w}_{mi}[e^\alpha I_{\{G_m(x_i)\neq y_i\}}+e^{-\alpha} (1-I_{\{G_m(x_i)\neq y_i\}})]\\ &=e^{-\alpha}\sum_{i=1}^n\bar{w}_{mi}+(e^\alpha-e^{-\alpha})\sum_{i=1}^n\bar{w}_{mi}I_{\{G_m(x_i)\neq y_i\}} \end{aligned} i=1∑n​wˉmi​exp[−yi​αG(xi​)]​=i=1∑n​wˉmi​[eαI{Gm​(xi​)​=yi​}​+e−αI{Gm​(xi​)=yi​}​]=i=1∑n​wˉmi​[eαI{Gm​(xi​)​=yi​}​+e−α(1−I{Gm​(xi​)​=yi​}​)]=e−αi=1∑n​wˉmi​+(eα−e−α)i=1∑n​wˉmi​I{Gm​(xi​)​=yi​}​​

因此，对任意$\alpha >0$，使(1)式最小的$G(x)$由下式得到，
G m ∗ ( x ) = arg ⁡ min ⁡ G ∑ i = 1 n w ˉ m i I { G m ( x i ) ≠ y i } G_m^*(x)=\arg\min_{G}\sum_{i=1}^n\bar{w}_{mi}I_{\{G_m(x_i)\neq y_i\}} Gm∗​(x)=argGmin​i=1∑n​wˉmi​I{Gm​(xi​)​=yi​}​

此分类器$G_m^{\ast }(x)$即为AdaBoost算法的基分类器$G_m(x)$，它是使第$m$轮加权训练数据分类误差率最小的基分类器。
  之后求$\alpha$，带入$G_m^{\ast }(x)$
∑ i = 1 n w ˉ m i e x p [ − y i α G ( x i ) ] = ∑ y i = G m ( x i ) w ˉ m i e − α + ∑ y i ≠ G m ( x i ) w ˉ m i e α = ( ∑ i = 1 n w ˉ m i e − α − ∑ y i ≠ G m ( x i ) w ˉ m i e − α ) + ∑ y i ≠ G m ( x i ) w ˉ m i e α = ( e α − e − α ) ∑ i = 1 n w ˉ m i I { G m ( x i ) ≠ y i } + e − α ∑ i = 1 n w ˉ m i \begin{aligned} \sum_{i=1}^n\bar{w}_{mi}exp[-y_i\alpha G(x_i)]&=\sum_{y_i=G_m(x_i)}\bar{w}_{mi}e^{-\alpha}+\sum_{y_i\neq G_m(x_i)}\bar{w}_{mi}e^{\alpha}\\ &=(\sum_{i=1}^n\bar{w}_{mi}e^{-\alpha}-\sum_{y_i\neq G_m(x_i)}\bar{w}_{mi}e^{-\alpha})+\sum_{y_i\neq G_m(x_i)}\bar{w}_{mi}e^{\alpha}\\ &=(e^{\alpha}-e^{-\alpha})\sum_{i=1}^n\bar{w}_{mi}I_{\{G_m(x_i)\neq y_i\}}+e^{-\alpha}\sum_{i=1}^n\bar{w}_{mi} \end{aligned} i=1∑n​wˉmi​exp[−yi​αG(xi​)]​=yi​=Gm​(xi​)∑​wˉmi​e−α+yi​​=Gm​(xi​)∑​wˉmi​eα=(i=1∑n​wˉmi​e−α−yi​​=Gm​(xi​)∑​wˉmi​e−α)+yi​​=Gm​(xi​)∑​wˉmi​eα=(eα−e−α)i=1∑n​wˉmi​I{Gm​(xi​)​=yi​}​+e−αi=1∑n​wˉmi​​

对$\alpha$求导并使导数为0，
( e α + e − α ) ∑ i = 1 n w ˉ m i I { G m ( x i ) ≠ y i } = e − α ∑ i = 1 n w ˉ m i (e^{\alpha}+e^{-\alpha})\sum_{i=1}^n\bar{w}_{mi}I_{\{G_m(x_i)\neq y_i\}}=e^{-\alpha}\sum_{i=1}^n\bar{w}_{mi} (eα+e−α)i=1∑n​wˉmi​I{Gm​(xi​)​=yi​}​=e−αi=1∑n​wˉmi​

记
e m = ∑ i = 1 n w ˉ m i ∑ i = 1 n w ˉ m i I { G m ( x i ) ≠ y i } = ∑ i = 1 n w m i I { G m ( x i ) ≠ y i } e_m=\sum_{i=1}^n\frac{\bar{w}_{mi}}{\sum_{i=1}^n\bar{w}_{mi}}I_{\{G_m(x_i)\neq y_i\}}=\sum_{i=1}^nw_{mi}I_{\{G_m(x_i)\neq y_i\}} em​=i=1∑n​∑i=1n​wˉmi​wˉmi​​I{Gm​(xi​)​=yi​}​=i=1∑n​wmi​I{Gm​(xi​)​=yi​}​

$$\begin{array}{rl}{\bar{w}}_{mi}& =exp[-y_i{f}_{m-1}(x_i)]=exp[-y_i(f_{m-2}(x)+{\alpha }_{m-1}{G}_{m-1}(x))]\\ & ={\bar{w}}_{m-1,i}exp[-y_i{\alpha }_{m-1}{G}_{m-1}(x))]\end{array}$$

$$w_{m,i}=\frac{w_{m-1,i}exp[-{\alpha }_{m-1}{y}_i{G}_{m-1}(x_i)]}{{\sum }_{i=1}^n{w}_{m-1,i}exp[-{\alpha }_{m-1}{y}_i{G}_{m-1}(x_i)]},i=1,2,...,n$$

两边同除${\sum }_{i=1}^n{\bar{w}}_{mi}$，
$$(e^{\alpha }+e^{-\alpha })e_m=e^{-\alpha }$$

则，
$${\alpha }_m^{\ast }=\frac{1}{2}\log \frac{1-e_m}{e_m}$$

---

统计学习方法—李航