自适应提升(Adaptive Boosting, AdaBoost)

在boosting中，集成分类器包含多个非常简单的成员分类器，这些分类器性能稍强于随机猜测（rough rules of thumb），被称为弱学习机。典型的弱分类器是单层决策树。
Adaboost使用整个训练集来训练弱学习机，训练样本在每次迭代中都会被赋予一个新的权重，在上一个学习机错误的基础上进行学习进而构建一个更加强大的分类器。

AdaBoost加权分类器：
F ( x ) = ∑ t = 1 T α t h ( x ; θ t ) , h ( x ; θ t ) ∈ { − 1 , 1 } F(\mathbf{x})=\sum_{t=1}^{T}\alpha_{t}h(\mathbf{x};\theta_{t}), h(\mathbf{x};\theta_{t})\in \{-1,1\} F(x)=t=1∑T​αt​h(x;θt​),h(x;θt​)∈{−1,1}
最终决策： f ( x ) = s i g n { F ( x ) } f(\mathbf{x})=sign\{F(\mathbf{x})\} f(x)=sign{F(x)}
误差函数:
$$\arg \underset{{\alpha }_t;{\theta }_t,t:1,2,...,T}{\min }\sum _{i=1}^N\exp (-y_{i}F({\mathbf{x}}_{\mathbf{i}}))$$
当错误分类时，$y_{i}F({\mathbf{x}}_i)<0$;当正确分类时，$y_{i}F({\mathbf{x}}_i)>0$
求解推理过程
当迭代到第$m$个分类器时，此时前$m$个分类器的目标函数：
$$J(\alpha ,\theta )=\sum _{i=1}^N\exp (-y_i(F_{m-1}({\mathbf{x}}_i)+\alpha h({\mathbf{x}}_i;\theta )))$$
$$({\alpha }_m,{\theta }_m)=\arg \underset{\alpha ,\theta }{\min }J(\alpha ,\theta )$$
对目标函数进化化简：
$$J(\alpha ,\theta )=\sum _{i=1}^N\exp (-y_i(F_{m-1}({\mathbf{x}}_i))\cdot \exp (-y_i\alpha h({\mathbf{x}}_i;\theta ))=\sum _{i=1}^N{w}_i^m\cdot \exp (-y_i\alpha h({\mathbf{x}}_i;\theta ))$$
求${\theta }_m=\arg {\min }_{\theta }{\sum }_{i=1}^N{w}_i^m\cdot \exp (-y_i\alpha h({\mathbf{x}}_i;\theta ))$
先不管$\alpha$，让错分样本对应的权重最小化：
θ m = arg ⁡ min ⁡ θ { P m = ∑ i = 1 N w i m I ( 1 − y i h ( x i ; θ ) ) } ,   I ( ⋅ ) = { 0 , 0 1 , o t h e r \theta_{m}=\arg \min_{\theta}\{P_{m}=\sum_{i=1}^{N}w_{i}^{m}I(1-y_{i}h(\mathbf{x}_{i};\theta))\}, \ I(\cdot)=\left\{\begin{matrix} 0,0\\ 1,other \end{matrix}\right. θm​=argθmin​{Pm​=i=1∑N​wim​I(1−yi​h(xi​;θ))}, I(⋅)={0,01,other​
$P_m$为第$m$个分类器错误识别样本的权重，选择阈值$P_m<0.5$。

求分类器权重${\alpha }_m$:
由$$J(\alpha ,\theta )=\sum _{i=1}^N{w}_i^m\cdot \exp (-y_i\alpha h({\mathbf{x}}_i;{\theta }_m))$$
分类错误的样本权重之和：${\sum }_{y_{i}h({\mathbf{x}}_i;{\theta }_m)<0}{w}_i^m=P_m$,其中$y_{i}h({\mathbf{x}}_i;{\theta }_m)=-1$;分类正确的样本权重之和为${\sum }_{y_{i}h({\mathbf{x}}_i;{\theta }_m)>0}{w}_i^m=1-P_m$,其中$y_{i}h({\mathbf{x}}_i;{\theta }_m)=1$。
可推出：
$${\alpha }_m=\arg \underset{\alpha }{\min }[\exp (-\alpha )(1-P_m)+\exp (\alpha )P_m]$$
对以上公式求导数：
$$[\exp (-\alpha )(1-P_m)+\exp (\alpha )P_m{]}^{{}^{\prime }}=0$$
可以解得：
$${\alpha }_m=\frac{1}{2}\ln \frac{1-P_m}{P_m}$$
样本权重更新
$$w_i^{(m+1)}=\exp (-y_i{F}_m({\mathbf{x}}_i))=w_i^{(m)}\exp (-y_i{\alpha }_{m}h({\mathbf{x}}_i;{\theta }_m))$$
归一化：$w_i^{m+1}=w_i^{m+1}/{\sum }_{i=1}^N{w}_i^{m+1}$

算法伪代码流程如下：
输入：训练数据 D = { ( x i , y i ) } i = 1 N , y i ∈ { − 1 , 1 } D=\{({\rm{x}}_{i},y_{i})\}_{i=1}^{N},y_{i} \in \{-1,1\} D={(xi​,yi​)}i=1N​,yi​∈{−1,1}
输出：分类模型$F(\mathrm{x})$
1.初始化训练数据的权重向量 P 1 = { 1 N , 1 N , . . . , 1 N } P^{1}=\{\frac{1}{N},\frac{1}{N},...,\frac{1}{N}\} P1={N1​,N1​,...,N1​}，并满足${\sum }_{i=1}^N{P}_i=1$
2.$fort=1toT$
3. --------基于$P^t$训练弱分类器 $h_t(\mathrm{x})$
4. --------计算弱分类器错误率${ϵ}_t={\sum }_{i=1}^N{P}_i^t[[h_t(\mathrm{x})̸=y_i]]$
5. --------计算弱分类器权重${\alpha }_t=\frac{1}{2}\ln \frac{1-{ϵ}_t}{{ϵ}_t}$,此时${ϵ}_t$越小，${\alpha }_t$越大，${ϵ}_t$是恒大于0.5的。
6. --------重新计算训练数据的权重向量$P_i^{t+1}=P_i^t\exp (-{\alpha }_t{y}_i{h}_t({\mathrm{x}}_i))$,此时判断错的样本权重将会增加，正确的权重将会减小。
7. --------归一化权重向量$P_i^{t+1}=P_i^{t+1}\setminus {\sum }_{i=1}^N{P}_i^{t+1}$
8. $endfor$
9. 最终决策：$F(\mathrm{x})=sgn[f_T(\mathrm{x})]=sgn({\sum }_{t=1}^T{\alpha }_t{h}_t(\mathrm{x}))$

初始的时候，所有的‘+’和‘-’都是等权重的。第一个分类器后，右边的‘+’分类错误，此时减小分类正确的权重，增大分类错误的权重。第二个分类器满足了此前分错具有较大权重的‘+’，此时左边的‘-’分错，所以增大左边‘-’的权重，同时分类正确的权重较小。最后将所有的分类器按分类器权重组合在一起。

如图3个分类器将决策区域最终划分为了6部分，从左到右，从上到下，分别标号1~6。其中1和6区域是3个分类器没有分歧。2区域蓝色,因为前两个分类器认为是蓝色，第3个认为是非蓝色，基于权重是0.42+0.65=1.07>0.92，所以此区域应该是蓝色。其他部分同理。

以下将使用葡萄酒数据集训练一个AdaBoost分类器，每个分类器都是一个单层的决策树。

from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import train_test_split

le = LabelEncoder()
y = le.fit_transform(y)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=1)
from sklearn.ensemble import AdaBoostClassifier
from sklearn.metrics import accuracy_score
from sklearn.tree import DecisionTreeClassifier

tree = DecisionTreeClassifier(criterion='entropy', max_depth=1)
ada = AdaBoostClassifier(base_estimator=tree,
                         n_estimators=500,
                         learning_rate=0.1,
                         random_state=0)
tree.fit(X_train, y_train)
y_train_pred = tree.predict(X_train)
y_test_pred = tree.predict(X_test)
print('Decision tree train/test accuracies: %.3f/%.3f'
      % (accuracy_score(y_train, y_train_pred), accuracy_score(y_test, y_test_pred)))

ada.fit(X_train, y_train)
y_train_pred = ada.predict(X_train)
y_test_pred = ada.predict(X_test)
print('Adaboost tree train/test accuracies: %.3f/%.3f'
      % (accuracy_score(y_train, y_train_pred), accuracy_score(y_test, y_test_pred)))

Decision tree train/test accuracies: 0.604/0.563
Adaboost tree train/test accuracies: 0.887/0.845