集成学习（1）--Boosting与AdaBoost

个体与集成

集成学习通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统、基于委员会的学习等。

下图是集成学习的一般结构：先产生一组“个体学习器”再用某种策略将它们结合起来。个体学习器通常由一个现有的学习算法从训练数据产生，如C4.5决策树算法、BP神经网络等。集成时只包含同种类型的个体学习器，这样的集成是“同质”的，个体学习器也称为基学习器；集成时包含不同学习算法，这样的集成是“异质”的，个体学习器一般不叫基学习器，通常叫“组件学习器”。

这里还有强可学习和弱可学习的概念。在概率近似正确的框架（PCA）下，一个概念如果存在一个多项式的学习算法能够学习它，并且正确率很高，那这个概念是强可学习的；一个概念，如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机猜测略好，那这个概念是弱可学习的。后来，证明这两个概念是等价的。

于是，如果能够发现弱可学习算法，就可想办法将其提升为强可学习算法。其实就是上图说的集成。集成时一般的想法是强弱结合后，新的要比弱的强，但比强的弱，怎么结合能获得比单一学习器更好的性能呢？经验表明：要获得好的集成，个体学习器应“好而不同”，即个体学习器要有一定的准确性，并且要有“多样性”。

误差分析（下限）

考虑二分类问题 y ∈ { − 1 , + 1 } y \in \{-1, +1\} y∈{−1,+1} 和真实函数 $f$ ,假定基分类器的错误率为 $ϵ$，即对每个基分类器 $h_i$ 有

$$P(h_i(x)\ne f(x))=ϵ$$

假设通过简单投票法结合基分类器，超过半数正确，则集成分类正确

$$H(x)=sign(\sum _{i=1}^T{h}_i(x))$$

假设基分类器相互独立，由Hoeffding不等式可知，集成的错误率是

$$P(H(x)\ne f(x))=\sum _{k=0}^{\lfloor \frac{T}{2}\rfloor }\left(\genfrac{}{}{0ex}{}{T}{k}\right)(1-ϵ{)}^k{ϵ}^{T-k}\le exp(-\frac{1}{2}T(1-2ϵ{)}^2)$$

上式表明，随着集成中个体分类器数目的增大，集成的错误率将指数下降。

但上述分析中分类器独立的假设很难成立，因为个体学习器都是为解决同一个问题训练出来的，不可能独立。一般的，准确性很高以后，要增加多样性就要牺牲准确性。

根据个体学习器的生成方式，集成学习方法大致分两类，个体学习器间存在强依赖关系、必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系、可同时生成的并行化方法；前者代表是Boosting, 后者代表是Bagging和随机森林。

Boosting

Boosting是一族可将弱学习器提升为强学习器的算法，机制是：先从初始训练集训练处一个基学习器，再根据学习器的表现对样本分布进行调整，使得先前基学习器做错的样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直到基学习器数目达到事先指定的值T，最终将这T个学习器进行加权结合。

Boosting算法中最著名的是AdaBoost，描述如下文，其中 y i ∈ { − 1 , + 1 } y_i \in \{-1,+1\} yi​∈{−1,+1} ,$f$ 是真实函数。

AdaBoost算法有多种推导方式，较容易理解的是“加性模型”，即基学习器的线性组合

$$H(x)=\sum _{t=1}^T{\alpha }_t{h}_t(x)$$

来最小化指数损失函数

$${\ell }_{exp}(H|S)=E_{x\sim S}[e^{-f(x)H(x)}]\text{\hspace{1em}(1)}$$

S 表示 x 的概率分布。

——————————————————————————————————————————

输入：训练集 $D=(x_1,y_1),(x_2,y_2),...(x_m,y_m)$

​ ​ ​ ​ ​ ​ ​ ​ ​ ​  基学习算法 G

​ ​ ​ ​ ​ ​ ​ ​ ​ ​  训练轮数 T

过程：

1：$S_1(x)=\frac{1}{m}$ ，初始化样本权重

2：for t = 1,2,…T do

3: ​ ​ ​ ​ ​ ​ $h_t=G(D,S_t)$, 基于分布$S_t$从数据集D中训练出分类器$h_t$

4:  ​ ​ ​ ​ ​${ϵ}_t=P_{x\sim S}(h_t(x)\ne f(x))$ 估计$h_t$的误差

5  ​ ​ ​ ​ ​if ${ϵ}_t>0.5$ then break ，下面有解释

6:  ​ ​ ​ ​ ​${\alpha }_t=\frac{1}{2}ln(\frac{1-{ϵ}_t}{{ϵ}_t})$ ,确定分类器$h_t$的权重

7:  ​ ​ ​ ​ ​$S_{t+1}(x)=\frac{S_t(x)}{Z_t}\times \{\begin{array}{l}exp(-{\alpha }_t),if{h}_t(x)=f(x)\\ exp({\alpha }_t),if{h}_t(x)\ne f(x)\end{array}=\frac{S_t(x)exp(-{\alpha }_{t}f(x)h_t(x))}{Z_t}$ ,更新样本分布，其中$Z_t$是规范化因子，以确保$S_{t+1}$是一个分布

8: end for

输出：$H(x)=sign({\sum }_{t=1}^T{\alpha }_t{h}_t(x))$

——————————————————————————————————————————

式子（1）对H(x)求偏导

$$\frac{\partial {\ell }_{exp}(H|S)}{\partial H(x)}=-e^{-H(x)}P(f(x)=1|x)+e^{H(x)}P(f(x)=-1|x)\text{\hspace{1em}(2)}$$

令上式等于0

$$H(x)=\frac{1}{2}ln\frac{P(f(x)=1|x)}{P(f(x)=-1|x)}$$

因此有

s i g n ( H ( x ) ) = s i g n ( 1 2 l n P ( f ( x ) = 1 ∣ x ) P ( f ( x ) = − 1 ∣ x ) )   = { 1 , P ( f ( x ) = 1 ∣ x ) > P ( f ( x ) = − 1 ∣ x ) − 1 , P ( f ( x ) = 1 ∣ x ) < P ( f ( x ) = − 1 ∣ x )   = a r g y ∈ { − 1 , + 1 } m a x P ( f ( x ) = y ∣ x ) sign(H(x))=sign(\frac{1}{2}ln\frac{P(f(x)=1|x)}{P(f(x)=-1|x)}) \\\ =\begin{cases}1,P(f(x)=1|x) \gt P(f(x)=-1|x)\\-1,P(f(x)=1|x) \lt P(f(x)=-1|x)\end{cases} \\\ =arg_{y \in \{-1,+1\}}max P(f(x)=y|x) sign(H(x))=sign(21​lnP(f(x)=−1∣x)P(f(x)=1∣x)​) ={1,P(f(x)=1∣x)>P(f(x)=−1∣x)−1,P(f(x)=1∣x)<P(f(x)=−1∣x)​ =argy∈{−1,+1}​maxP(f(x)=y∣x)

AdaBoost算法在获得 $H_{t-1}$ 之后样本分布将进行调整，使下一轮的基学习器 $h_t$ 能纠正 $H_{t-1}$ 的一些错误，理想的 $h_t$ 能纠正 $H_{t-1}$ 的全部错误，即最小化

$${\ell }_{exp}(H_{t-1}+h_t|S)=E_{x\sim S}[e^{-f(x)(H_{t-1}+h_t|S)}]$$

理想的基学习器

$$h_t(x)=ar{g}_{h}min{\ell }_{exp}(H_{t-1}+h_t|S)$$

Boosting算法要求基学习器能对特定的数据分布进行学习，可通过“重赋权法”实施，即在训练过程的每一轮中，根据样本分布为每个训练样本重新赋予一个权重。对无法接受带权样本的基学习算法，可通过“重采样法”来处理，即在每一轮学习中，根据样本分布对训练集重新进行采样，用新的数据集进行训练。

Boosting算法在训练的每一轮都要检查当前生成的基学习器是否满足基本条件（算法第5行，检查当前基学习器是否比随机猜测好），一旦条件不满足，则当前基学习器即被抛弃，且学习过程停止。此时，学习轮数没有达到，可能因基学习器数量少而影响最终效果。重采样可获得重启动机会以避免训练过程过早停止。

Adaboost小结

到这里Adaboost就写完了，前面有一个没有提到，就是弱学习器的类型。理论上任何学习器都可以用于Adaboost.但一般来说，使用最广泛的Adaboost弱学习器是决策树和神经网络。对于决策树，Adaboost分类用了CART分类树，而Adaboost回归用了CART回归树。

这里对Adaboost算法的优缺点做一个总结。

Adaboost的主要优点有：

1）Adaboost作为分类器时，分类精度很高

2）在Adaboost的框架下，可以使用各种回归分类模型来构建弱学习器，非常灵活。

3）作为简单的二元分类器时，构造简单，结果可理解。

4）不容易发生过拟合

Adaboost的主要缺点有：

1）对异常样本敏感，异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性。

参考

周志华《机器学习》

https://www.cnblogs.com/pinard/p/6133937.html