AdaBoost与指数损失

集成学习综述

将多个不同算法、同一算法不同参数或不同数据集的弱模型组合为强模型.

以加性模型表示为
$$H(x\text{x}x;\Theta )=\sum _{\tau }{\alpha }_{\tau }h(x\text{x}x;{\theta }_{\tau }),\Theta =\arg \underset{\alpha ,\theta }{\min }{\mathbb{E}}_{\mathcal{D}}[L(y,\sum _{\tau }{\alpha }_{\tau }h(x\text{x}x;{\theta }_{\tau }))]$$
假设集成M个分类误差为$ϵ<0.5$且相互独立的弱模型，则集成分类器的误差率
$$P(H(x\text{x}x)\ne f(x\text{x}x))=\sum _{m=0}^{M/2}{\mathbb{C}}_M^m(1-ϵ{)}^m{ϵ}^{M-m}\le \exp \left(-\frac{1}{2}M(1-2ϵ{)}^2\right)$$
随着基分类器数量M的增大，集成分类器的误差以指数级下降.

Bagging

基模型无强依赖关系、可并行生成，一般为强模型，适合用于集成高方差低偏差的over-fitting模型（关注降低方差），如决策树模型所有样本均为叶结点时，错误率为0.

随机森林是典型的的bagging算法，使用cart决策树作为基模型，单个模型训练的样本集和特征集具有随机性，即：

• 随机地从样本集中有放回采样一定数量样本；
• 随机地从特征集选取一定数量特征，若$d$为特征总数，一般采样${\log }_{2}d$个特征；

Boosting

基模型存在强依赖关系、串行生成，新基模型是对之前总体模型的提升，基模型一般为正确率略优于随机猜测的弱模型.
根据之前迭代结果训练新基模型并更新总体模型，由于全局优化计算复杂，一般通过贪婪方法逐个求解最优基模型参数. Boosting的前向加性模型及求解方法为
$$H_t(x\text{x}x)=H_{t-1}(x\text{x}x)+{\alpha }_{t}h(x\text{x}x,{\theta }_t),({\alpha }_t,{\theta }_t)=\arg \underset{\alpha ,\theta }{\min }{\mathbb{E}}_{{\mathcal{D}}_t}[L(y,H_{t-1}(x\text{x}x)+\alpha h(x\text{x}x;\theta ))]$$

CART

基模型一般使用CART决策树，模型表示为
$$T(x\text{x}x;\Theta )=\sum _{j=1}^J{\gamma }_i\mathbb{I}(x\text{x}x\in R_j)$$
其中$R_j$和${\gamma }_j$分别为第$j$个叶结点对应区域和结点输出值.

AdaBoost

自适应增强（Adaptive Boosting，AdaBoost）是Boosting算法簇的先祖，通过集成多个弱模型成为一个强模型。
$$H(\mathbf{x};\Theta )=\sum _{\tau }{\alpha }_{\tau }h(\mathbf{x};{\theta }_{\tau })$$
式中$h_{\tau }$和${\alpha }_{\tau }$分别表示第$\tau$次迭代所得基模型及其所占总体的权重。

AdaBoost算法属于前向分布算法的特例，AdaBoost的基本思想：

• 调整样本分布：根据新模型的表现调整样本分布，使下次基模型（弱学习器）的注意力集中在错分样本。
• 基模型权重：基模型集成到总体模型的权重与其训练误差成正比。
• 损失函数：对于回归问题使用均方差损失，则新模型的训练实际是拟合当前模型的残差（GBDT）；对于分类问题使用指数损失，新模型的训练实际是在调整后的分布上进行。

本文主要通过理论推导说明AdaBoost的学习过程，解释以下几个问题：

• AdaBoost的学习过程为什么是通过不断调整样本分布进行的？
• 如何学习基模型？
• 如何设定基模型权重？

AdaBoost理论推导

用于二分类的AdaBoost算法等价于基于指数损失的前向加性模型是在算法提出后之后才发现，典型的思想在前理论证明在后的算法，以不断调整分布的方式学习基模型，恰好可通过最小化指数损失得到解释。
$$H_t(\mathbf{x})=H_{t-1}(\mathbf{x})+{\alpha }_t{h}_t(\mathbf{x})$$
令训练集样本分布表示为$\mathcal{D}$，初始分布一般为均匀分布
$$\mathcal{D}=(w_1,\cdots ,w_m),w_i=\frac{1}{m}$$

对于二分类模型$y=\pm 1$，基于最小化指数损失训练模型，则第$t$步所得基模型$h_t$，应使得之前所得总体模型$H_{t-1}$集成$h_t$后，能在原始样本分布上最小化指数损失，因此优化目标函数可表示为

$$\begin{array}{rl}({\alpha }_t,h_t)& =\arg \underset{\alpha ,h}{\min }{\mathbb{E}}_{\mathcal{D}}[\exp (-y(H_{t-1}(\mathbf{x})+\alpha h(\mathbf{x})))]\\ & =\arg \underset{\alpha ,h}{\min }\sum _i{w}_i\exp (-y_i(H_{t-1}(\mathbf{x})))\cdot \exp (-\alpha y_{i}h(\mathbf{x}))\\ & =\arg \underset{\alpha ,h}{\min }\sum _i{w}_i^{(t)}\exp (-\alpha y_{i}h({\mathbf{x}}_i))\end{array}$$

其中可将$w^{(t)}$视为第$t$次迭代每个观测的权重
$$w_i^{(t)}=w_i\exp (-y_i{H}_{t-1}({\mathbf{x}}_i))$$
样本权重计算公式等价于以下递推的形式
$$w_i^{(t+1)}=w_i^{(t)}\exp (-y_i{\alpha }_t{h}_t({\mathbf{x}}_i))$$
实际计算过程中，样本分布也是通过迭代更新，这也解释了每次迭代完之后会调整样本分布的特性。

如何在第$t$步训练基模型$h_t$？

固定${\alpha }_t$并假定${\alpha }_t>0$，则最优$h_t$满足
$$\begin{array}{rl}{h}_t& =\arg \underset{h}{\min }\sum _i{w}_i^{(t)}\exp (-y_{i}h({\mathbf{x}}_i))\approx \arg \underset{h}{\min }\sum _i{w}_i^{(t)}(1-y_{i}h({\mathbf{x}}_i))\\ & =\underset{h}{\mathrm{argmax}}{\mathbb{E}}_{{\mathcal{D}}_t}[yh(\mathbf{x})]\\ & =\arg \underset{h}{\max }[h(\mathbf{x})P(y=1|{\mathcal{D}}_t)-h(\mathbf{x})P(y=-1|{\mathcal{D}}_t)]\end{array}$$
显然，最优解满足
$$h(\mathbf{x})=\{\begin{array}{ll}1,& P(y=1|{\mathcal{D}}_t)>P(y=-1|{\mathcal{D}}_t)\\ -1,& otherwise\end{array}$$
因此，基模型（一般为CART决策树）的优化目标函数为
h t ( x ) = arg ⁡ min ⁡ h ∑ i w i ( t ) I ( y i ≠ h ( x i ) ) , h t ( x ) ∈ { − 1 , + 1 } h_t(\boldsymbol x)=\arg\min_h\sum_i w_i^{(t)}\Bbb I(y_i\neq h(\boldsymbol x_i)),\quad h_t(\boldsymbol x)\in\{-1,+1\} ht​(x)=arghmin​i∑​wi(t)​I(yi​​=h(xi​)),ht​(x)∈{−1,+1}

因此，基模型的学习就可以看作为在加权的样本集中训练CART二分类决策树。

如何计算第$t$步基模型所占总体权重${\alpha }_t$？

固定$h_t$，则最优${\alpha }_t$满足
$${\alpha }_t=\arg \underset{\alpha }{\min }\sum _i{w}_i^{(t)}\exp (-\alpha y_i{h}_t({\mathbf{x}}_i))$$

对上述求偏导令其为0，由于$y\pm 1$，易得
$${\alpha }_t=\frac{1}{2}\ln \frac{1-{ϵ}_t}{{ϵ}_t},{ϵ}_t=\frac{{\sum }_i{w}_i^{(t)}\mathbb{I}(y_i\ne h_t({\mathbf{x}}_i))}{{\sum }_i{w}_i^{(t)}}$$

实例

给定训练数据如下表所示，假设弱分类器由$x<v$或$x>v$产生，其阈值$v$是该分类器在训练集上分类误差率最低。

序号	1	2	3	4	5	6	7	8	9	10
$x$	0	1	2	3	4	5	6	7	8	9
$y$	1	1	1	-1	-1	-1	1	1	1	-1

解： 初始化数据权值分布
$${\mathcal{D}}_1=(w_{11},w_{12},\cdots ,w_{10}),w_{1i}=0.1,i=1,2,\cdots ,10$$
i. $m=1$，训练弱学习器，计算基分类器权重，更新样本分布

• 阈值$v=2.5$时，基本分类器$h_1(x)$分类误差最低，故
  $$h_1(x)=\{\begin{array}{ll}1,& x<2.5\\ -1,& x>2.5\end{array}$$

• $h_1(x)$在分布${\mathcal{D}}_1$上的分类误差率
  $$e_1=\sum _{i=1}^{10}{e}_{1i}\mathbb{I}(y_i\ne h_1(x))=0.3$$

• 计算$h_1$的权重系数
  $${\alpha }_1=\frac{1}{2}\ln \frac{1-e_1}{e_1}=0.4236$$

• 更新训练数据的权值分布
  $${\mathcal{D}}_2=(w_{21},\cdots ,w_{2i},\cdots ,w_{2,10}),w_{2i}=\frac{w_{1i}\cdot e^{-{\alpha }_1{y}_i{h}_1(x_i)}}{Z_1},i=1,2,\cdots ,10$$
  则
  $${\mathcal{D}}_2=(0.071,0.071,0.071,0.071,0.071,0.071,0.167,0.167,0.167,0.071)$$

ii. $m=2$，训练弱学习器，计算基分类器权重，更新样本分布：

• 阈值$v=8.5$时，基本分类器$h_2(x)$分类误差最低，故
  $$h_2(x)=\{\begin{array}{ll}1,& x<8.5\\ -1,& x>8.5\end{array}$$

• $h_2(x)$在分布${\mathcal{D}}_2$上的分类误差率
  $$e_2=\sum _{i=1}^{10}{w}_{2i}\mathbb{I}(y_i\ne h_2(x))=0.2143$$

• 计算$h_2$的权重系数
  $${\alpha }_2=\frac{1}{2}\ln \frac{1-e_2}{e_2}=0.6496$$

• 更新训练数据的权值分布，则
  $${\mathcal{D}}_3=(0.046,0.046,0.046,0.167,0.167,0.167,0.106,0.106,0.106,0.046)$$

iii. $m=3$，训练弱学习器，计算基分类器权重，更新样本分布

• 阈值$v=5.5$时，基本分类器$h_3(x)$分类误差最低，故
  $$h_3(x)=\{\begin{array}{ll}1,& x<5.5\\ -1,& x>5.5\end{array}$$

• $h_3(x)$在分布${\mathcal{D}}_3$上的分类误差率
  $$e_3=\sum _{i=1}^{10}{w}_{3i}\mathbb{I}(y_i\ne h_3(x))=0.1820$$

• 计算$h_3$的权重系数
  $${\alpha }_3=\frac{1}{2}\ln \frac{1-e_3}{e_3}=0.7514$$

• 更新训练数据的权值分布，则
  $${\mathcal{D}}_4=(0.125,0.125,0.125,0.102,0.102,0.102,0.065,0.065,0.065,0.125)$$

IV. 构建强分类器
$$\text{sign}[f_3(x)]=\text{sign}[0.4236h_1(x)+0.6496h_2(x)+0.7514h_3(x)]$$

Reference

1.Boosting algorithm: AdaBoost
2.The Elements of Statistical Learning (Second Edition) (P341-345)