二、集成学习：Boosting 之 AdaBoost_分类问题

一、 Boosting算法的基本元素与基本流程

  “降低偏差”、“逐一建树”、以及“以独特规则输出结果”的三大特色，可以确立任意boosting算法的三大基本元素以及boosting算法自适应建模的基本流程：

• 损失函数$L(x,y)$ ：用以衡量模型预测结果与真实结果的差异
• 弱评估器$f(x)$ ：（一般为）决策树，不同的boosting算法使用不同的建树过程
• 综合集成结果$H(x)$：即集成算法具体如何输出集成结果

  这三大元素将会贯穿所有我们即将学习的boosting算法，我们会发现几乎所有boosting算法的原理都围绕这三大元素构建。在此三大要素基础上，所有boosting算法都遵循以下流程进行建模：

• 依据上一个弱评估器$f(x{)}_{t-1}$的结果，计算损失函数$L(x,y)$，
  并使用$L(x,y)$自适应地影响下一个弱评估器$f(x{)}_t$的构建。
  集成模型输出的结果，受到整体所有弱评估器$f(x{)}_0$ ~ $f(x{)}_T$的影响。

二、 AdaBoost

2.1 设计思路

  AdaBoost（Adaptive Boosting，自适应提升法）是当代boosting领域的开山鼻祖，它虽然不是首个实践boosting思想算法，却是首个成功将boosting思想发扬光大的算法。它的主要贡献在于实现了两个变化：

• 首次实现根据之前弱评估器的结果自适应地影响后续建模过程;
• 在Boosting算法中，首次实现考虑全部弱评估器结果的输出方式;

  AdaBoost的构筑过程非常简单：首先，在全样本上建立一棵决策树，根据该决策树预测的结果和损失函数值，增加被预测错误的样本在数据集中的样本权重，并让加权后的数据集被用于训练下一棵决策树。这个过程相当于有意地加重“难以被分类正确的样本”的权重，同时降低“容易被分类正确的样本”的权重，而将后续要建立的弱评估器的注意力引导到难以被分类正确的样本上。

2.2 二分类的算法流程

  一、 确定基分类器：任何分类模型都可以作为基分类器，但树形模型由于结构简单且较易产生随机性所以比较常用；

  二、训练基分类器：假设训练集 { x i , y i } , i = 1 , . . . , N , 其 中 y i ∈ { − 1 , 1 } \{x_i,y_i\},i=1,...,N,其中y_i \in\{-1,1\} {xi​,yi​},i=1,...,N,其中yi​∈{−1,1},并且有T个基分类器，则可以按照如下过程来训练基分类器；

• 初始化训练数据的权值分布：

$$D_1=(w_{11},...,w_{1i},...,w_{1N})$$,
$$w_{1i}=\frac{1}{N},i=1,3,...,N$$;

• 令t = 1,2,…,T循环：

   a) 、使用具有权值分布$D_t$的训练数据集学习，得到基分类器：
H t ( x ) : x → { − 1 , 1 } H_t(x):x \to\{-1,1\} Ht​(x):x→{−1,1}

   b) 、计算$H_t(x)$在训练数据集上的分类误差率：

$${ϵ}_t=\sum _{i=1}^{N_t}I[h_t(x_i)\ne y_i]w_t(x_i)$$

  ${ϵ}_t$一定满足$0\le {ϵ}_t\le 0.5$

   c) 、计算$H_t(x)的系数{\alpha }_t$:

$${\alpha }_t=\frac{1}{2}log\frac{1-{ϵ}_t}{{ϵ}_t}$$

   d) 更新训练数据集的权值分布：
$$D_{t+1}=(w_{t+1,1},...,w_{t+1,i},...,w_{t+1,N})$$,
$$w_{t+1,i}=\frac{w_{ti}}{Z_t}{e}^{-{\alpha }_t{y}_i{H}_t(x_i)},i=1,3,...,N$$;
  相当于：

$$w_{t+1,i}=\{\begin{array}{r}\frac{w_{t,i}}{Z_t}{e}^{-{\alpha }_t}，H_t(x_i)=y_i\\ \frac{w_{t,i}}{Z_t}{e}^{{\alpha }_t}，H_t(x_i)\ne y_i\end{array}$$

   $Z_m$是规范化因子，是为了保证每次权值总和为1：

$$Z_t=\sum _{i=1}^N{w}_{t,i}{e}^{-{\alpha }_t{y}_i{H}_t(x_i)}$$

   三 、构建基本分类器的线性组合：

   得到最终分类器：
$$H(x)=sign((f(x))=sign(\sum _{t=1}^T{\alpha }_t{H}_t(x))$$

2.3 示例

   假设弱分类器由x < v 或者 x >v产生，其中阈值v使该分类器在训练数据集上分类误差率最低。试用AdaBoost算法学习一个较强的分类器。

   根据上述：

   $f_3(x)={\alpha }_1{H}_1(x)+{\alpha }_2{H}_2(x)+{\alpha }_3{H}_3(x)=0.4236H_1(x)+0.6496H_2(x)+0.7514H_3(x)$
$$f_3(x)=\{\begin{array}{rl}& 0.4236\ast 1+0.6496\ast 1+0.7514\ast (-1)=0.3218,x<2.5\\ & 0.4236\ast (-1)+0.6496\ast 1+0.7514\ast (-1)=-0.5254,2.5<x<5.5\\ & 0.4236\ast (-1)+0.6496\ast 1+0.7514\ast 1=0.9774,5.5<x<8.5\\ & 0.4236\ast (-1)+0.6496\ast (-1)+0.7514\ast 1=-0.3218,x>8.5\end{array}$$
$$sign[f_3(x)]=\{\begin{array}{rl}& 1,x<2.5\\ & -1,2.5<x<5.5\\ & 1,5.5<x<8.5\\ & -1,x>8.5\end{array}$$
   分类器$sign[f_3(x)]$在训练数据集上有0个误分类点.。

2.4 AdaBoost算法解释

   上面讲到了分类Adaboost的弱学习器权重系数公式和样本权重更新公式。但是没有解释选择这个公式的原因，其实它是从Adaboost的损失函数推导出来。

   从另一个角度讲Adaboost是模型由基本分类器组成的加法模型，学习算法为前向分步学习算法，损失函数为指数函数的分类问题。

   通过一轮轮的弱学习器学习，利用前一个强学习器的结果和当前弱学习器来更新当前的强学习器的模型，是前向分步学习算法（forword stagewise algorithrn）优化问题的基本思想。

   也就是说，假设第T-1轮的强学习器为：

$$f_{T-1}(x)=\sum _{i=1}^{T-1}{\alpha }_i{H}_i(x)$$

   而第T轮的强学习器为：

$$f_T(x)=f_{T-1}(x)+{\alpha }_T{H}_T(x)$$

   Adaboost损失函数为指数函数，即定义损失函数为:

$$\underset{\alpha ,H}{\mathrm{argmin}}\sum _{i=1}^N{e}^{-y_i{f}_T(x)}$$

   利用前向分步学习算法的关系可以得到损失函数为:

$$\underset{\alpha ,H}{\mathrm{argmin}}\sum _{i=1}^N{e}^{[-y_i.(f_{T-1}(x)+{\alpha }_T{H}_T(x))]}$$

  令$w_{Ti}^{{}^{\prime }}=e^{(-y_i{f}_{T-1}(x))}$, 它的值不依赖于α,G,因此与最小化无关，仅仅依赖于$f_{T-1}(x)$,随着每一轮迭代而改变。

  将这个式子带入损失函数,损失函数转化为:

$$L({\alpha }_T,H_T(x))=\underset{\alpha ,H}{\mathrm{argmin}}\sum _{i=1}^N{w}_{Ti}^{{}^{\prime }}{e}^{-{\alpha }_T{y}_i{H}_T(x)}$$

  现在使$L({\alpha }_T,H_T(x))$达到最小的${\alpha }_T^{\ast }$和$H_T^{\ast }(x)$就是AdaBoost算法所得${\alpha }_T$和$H_T(x)$。

  首先，求解$H_T^{\ast }(x)$（本质上是使得分类误差率最小）。所以对容易$\alpha >0$,使$L({\alpha }_T,H_T(x))$达到最小的$H_T(x)$由下式得到：

$$H_T^{\ast }(x)=\underset{H}{\mathrm{argmin}}\sum _{i=1}^N{w}_{Ti}^{{}^{\prime }}I(y_i\ne H_T(x))$$

  之后，求解${\alpha }_T^{\ast }$

  由于:
$$\begin{array}{rl}& \sum _{i=1}^N{w}_{Ti}^{{}^{\prime }}{e}^{-{\alpha }_T{y}_i{H}_T(x)}\\ & =\sum _{y_i=H_T(x)}{w}_{Ti}^{{}^{\prime }}{e}^{-{\alpha }_T}+\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}{e}^{{\alpha }_T}\\ & =e^{-{\alpha }_T}\sum _{y_i=H_T(x)}{w}_{Ti}^{{}^{\prime }}+e^{{\alpha }_T}\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}\\ & =e^{-{\alpha }_T}\sum _{y_i=H_T(x)}{w}_{Ti}^{{}^{\prime }}+e^{-{\alpha }_T}\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}+e^{{\alpha }_T}\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}-e^{-{\alpha }_T}\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}\\ & =e^{-{\alpha }_T}\sum _{i=1}^N{w}_{Ti}^{{}^{\prime }}+(e^{{\alpha }_T}-e^{-{\alpha }_T})\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}\end{array}$$
  对${\alpha }_T$求导，使其等于0:

$$\begin{array}{rl}& \frac{\partial (e^{-{\alpha }_T}{\sum }_{i=1}^N{w}_{Ti}^{{}^{\prime }}+(e^{{\alpha }_T}-e^{-{\alpha }_T}){\sum }_{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }})}{\partial {\alpha }_T}\\ & =-e^{-{\alpha }_T}\sum _{i=1}^N{w}_{Ti}^{{}^{\prime }}+e^{{\alpha }_T}\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}+e^{-{\alpha }_T}\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}\\ & =-e^{-{\alpha }_T}(\sum _{i=1}^N{w}_{Ti}^{{}^{\prime }}-\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }})+e^{{\alpha }_T}\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}\\ & =-e^{-{\alpha }_T}\sum _{y_i=H_T(x)}{w}_{Ti}^{{}^{\prime }}+e^{{\alpha }_T}\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}\\ & =0\end{array}$$
  则：

$$\begin{array}{rl}& e^{-{\alpha }_T}\sum _{y_i=H_T(x)}{w}_{Ti}^{{}^{\prime }}=e^{{\alpha }_T}\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}\\ & \\ & 两边同时取对数\\ & \\ & ln(e^{-{\alpha }_T}\sum _{y_i=H_T(x)}{w}_{Ti}^{{}^{\prime }})=ln(e^{{\alpha }_T}\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }})\\ & \Rightarrow ln(e^{-{\alpha }_T})+ln(\sum _{y_i=H_T(x)}{w}_{Ti}^{{}^{\prime }})=ln{e}^{{\alpha }_T}+ln(\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }})\\ & \Rightarrow 2{\alpha }_T=ln(\sum _{y_i=H_T(x)}{w}_{Ti}^{{}^{\prime }})-ln(\sum _{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }})\\ & \Rightarrow {\alpha }_T=\frac{1}{2}ln(\frac{{\sum }_{y_i=H_T(x)}{w}_{Ti}^{{}^{\prime }}}{{\sum }_{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}})\\ & \Rightarrow {\alpha }_T=\frac{1}{2}ln(\frac{{\sum }_{i=1}^N{w}_{Ti}^{{}^{\prime }}-{\sum }_{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}}{{\sum }_{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}})\\ & \Rightarrow {\alpha }_T=\frac{1}{2}ln(\frac{\frac{{\sum }_{i=1}^N{w}_{Ti}^{{}^{\prime }}}{{\sum }_{i=1}^N{w}_{Ti}^{{}^{\prime }}}-\frac{{\sum }_{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}}{{\sum }_{i=1}^N{w}_{Ti}^{{}^{\prime }}}}{\frac{{\sum }_{y_i\ne H_T(x)}{w}_{Ti}^{{}^{\prime }}}{{\sum }_{i=1}^N{w}_{Ti}^{{}^{\prime }}}})\\ & \Rightarrow {\alpha }_T=\frac{1}{2}ln(\frac{1-{ϵ}_T}{{ϵ}_T})\end{array}$$

  其中${ϵ}_T={\sum }_{i=1}^{N_t}I[h_t(x_i)\ne y_i]w_t(x_i)$

  更新样本权值$w_{t+1,i}^{{}^{\prime }}$:

  根据公式$w_{t,i}^{{}^{\prime }}=e^{(-y_i{f}_{t-1}(x))}$和$f_t(x)=f_{t-1}(x)+{\alpha }_t{H}_t(x)$，有

$$\begin{array}{rl}& w_{t+1,i}^{{}^{\prime }}=e^{(-y_i{f}_t(x))}\\ & =e^{[-y_i(f_{t-1}(x)+{\alpha }_t{H}_t(x))]}\\ & =e^{-y_i{f}_{t-1}(x)}.e^{-y_i{\alpha }_t{H}_t(x)}\\ & =w_{t,i}^{{}^{\prime }}.e^{-y_i{\alpha }_t{H}_t(x)}\end{array}$$

  只相差归一化因子$Z_t$。

2.5 优缺点

Adaboost的主要优点有：

• Adaboost作为分类器时，具有很高的精度，错误率是以指数速率下降，并且不考虑基学习器的错误率下界。；

• 在Adaboost的框架下，可以使用各种回归分类模型来构建弱学习器，非常灵活；

• 作为简单的二元分类器时，构造简单，不需要做特征筛选，结果可解释；

• 即使训练次数很多，也不会出现过拟合的问题；

• 充分考虑每个分类器的权重；

• 可以处理连续值和离散值；

Adaboost的主要缺点有：

• 对异常样本敏感，异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性；

• 训练时会过于偏向分类困难的数据，导致Adaboost容易受噪声数据干扰；

• 数据不平衡导致分类精度下降（关注的是分类器的整体性能,而没有给予小类更多的关注）；

• 依赖于弱分类器，训练时间可能比较长，而且每次重新都得选择当前分类器最好切分点；

• 迭代次数（弱分类器数目）不好确定；

---

• LR/SVM/softmax/Adaboost损失函数之间的差别？
  softmax模型是LR模型从⼆分类推⼴到多分类的模型，两者损失函数都是对数损失。
  SVM使⽤的是合⻚损失，分类边界只受限于⽀持向量。
  Adaboost损失函数是指数损失。

参考文献

1.《统计学习方法 李航著》