《推荐系统笔记（三）》Adaboost算法 —— 弱分类器组合成强分类器的方法

前言

我们将介绍将弱分类器组合成强分类器的算法，Adaboost算法，以及该算法有效的证明。

对于这种提升方法，我们有

• 每次迭代加大误分类点的权重，这样下次生成的弱分类器能够更可能将该误分类点分类正确
• 每次迭代生成弱分类器的权重，对于误分类率低的弱分类器，我们在最终结果中给予更高的权重

1. 算法

• 输入：数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1, y_1), (x_2, y_2), ..., (x_N, y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中， x i ∈ R n , y i ∈ { − 1 , + 1 } x_i\in\mathbb{R}^n, y_i\in\{-1, +1\} xi​∈Rn,yi​∈{−1,+1}；弱分类器学习方法
• 输出：强分类器 $G(x)$

（1） 初始数据权重 w 1 = { w 1 , 1 , w 1 , 2 , . . . , w 1 , N } w_{1}=\{w_{1, 1}, w_{1, 2}, ..., w_{1, N}\} w1​={w1,1​,w1,2​,...,w1,N​}，这里 $w_{1,i}=\frac{1}{N}$；
（2）对于 $m=1,2,...,M$，第 $m$ 次数据权重为 w m = { w m , 1 , w m , 2 , . . . , w m , N } w_m=\{w_{m, 1}, w_{m, 2}, ..., w_{m, N}\} wm​={wm,1​,wm,2​,...,wm,N​}，则

1. 误分类率 $e_m={\sum }_{i=1}^N{w}_{m,i}I(y_i\ne G_m(x_i))$
2. 根据弱学习算法（比如最小化误分类率），确定弱分类器 $G_m(x)$
3. 计算正确分类几率 ${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$
4. 更新第 $m+1$ 次数据权重 $$w_{m+1,i}=\frac{w_{m,i}{e}^{-{\alpha }_m{y}_i{G}_m(x_i)}}{Z_m}$$ 其中，$Z_m={\sum }_{i=1}^N{w}_{m,i}{e}^{-{\alpha }_m{y}_i{G}_m(x_i)}$

（3）弱分类器的线性组合为
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$ 则强学习器为 $$G(x)=sign(f(x))$$

2. 算法有效的数学证明

通过对一系列弱分类器进行线性组合，我们可以得到强分类器，这是很神奇的。

下面，我们就对这个结果从数学上进行证明，说明弱分类器的组合可以很好的拟合数据，成为强分类器。

2.1 训练误差有上界

训练误差为 $\frac{1}{N}{\sum }_{i=1}^{N}I(y_i\ne G(x_i))$。我们说明这个训练误差有上界。

首先，我们有
$$\begin{array}{lll}& & \frac{1}{N}{\sum }_{i=1}^{N}I(y_i\ne G(x_i))\\ & =& \frac{1}{N}{\sum }_{i=1}^{N}I(y_i\ne sign(f(x_i)))\\ & =& \frac{1}{N}{\sum }_{i=1}^{N}I(-y_{i}f(x_i)\ge 0)\\ & \le & \frac{1}{N}{\sum }_{i=1}^N{e}^{-y_{i}f(x_i)}\end{array}$$

其次，我们证明 $\frac{1}{N}{\sum }_{i=1}^N{e}^{-y_{i}f(x_i)}={\Pi }_{m=1}^M{Z}_m$。具体的，我们有
$$\begin{array}{lll}& & \frac{1}{N}{\sum }_{i=1}^N{e}^{-y_{i}f(x_i)}\\ & =& \frac{1}{N}{\sum }_{i=1}^N{e}^{-{\sum }_{m=1}^M{\alpha }_m{y}_i{G}_m(x_i)}\\ & =& \frac{1}{N}{\sum }_{i=1}^N{\Pi }_{m=1}^M{e}^{-{\alpha }_m{y}_i{G}_m(x_i)}\\ & =& {\sum }_{i=1}^N\frac{1}{N}{\Pi }_{m=1}^M{e}^{-{\alpha }_m{y}_i{G}_m(x_i)}\\ & =& {\sum }_{i=1}^N{w}_{1,i}{\Pi }_{m=1}^M{e}^{-{\alpha }_m{y}_i{G}_m(x_i)}\\ & =& {\sum }_{i=1}^N{w}_{1,i}{e}^{-{\alpha }_1{y}_i{G}_1(x_i)}{\Pi }_{m=2}^M{e}^{-{\alpha }_m{y}_i{G}_m(x_i)}\\ & =& {\sum }_{i=1}^N{Z}_1{w}_{2,i}{\Pi }_{m=2}^M{e}^{-{\alpha }_m{y}_i{G}_m(x_i)}\\ & =& Z_1{\sum }_{i=1}^N{w}_{2,i}{\Pi }_{m=2}^M{e}^{-{\alpha }_m{y}_i{G}_m(x_i)}\\ & =& ...\\ & =& Z_1{Z}_2...Z_{M-1}{\sum }_{i=1}^N{w}_{M,i}{e}^{-{\alpha }_M{y}_i{G}_M(x_i)}\\ & =& Z_1{Z}_2...Z_{M-1}{Z}_M\\ & =& {\Pi }_{m=1}^M{Z}_m\end{array}$$

最后，我们得到，训练误差有上界，即
$$\frac{1}{N}\sum _{i=1}^{N}I(y_i\ne G(x_i))\le {\Pi }_{m=1}^M{Z}_m$$

2.2 重写训练误差上界

训练误差的上界 ${\Pi }_{m=1}^M{Z}_m$ 看起来并不直观，因此，我们需要重新写出一个上界。

考虑到 $y_i$ 与 $G_m(x_i)$ 的值域为 { − 1 , + 1 } \{-1, +1\} {−1,+1}，且如果 $y_i{G}_m(x_i)=-1$，则分类器 $G_m(x_i)$ 分类错误；如果$y_i{G}_m(x_i)=1$，则分类器 $G_m(x_i)$ 分类正确。

对于 $Z_m$，我们有
$$\begin{array}{lll}{Z}_m& =& {\sum }_{i=1}^N{w}_{m,i}{e}^{-{\alpha }_m{y}_i{G}_m(x_i)}\\ & =& {\sum }_{i=1}^N{w}_{m,i}{e}^{-{\alpha }_m}I(y_i=G_m(x_i))+{\sum }_{i=1}^N{w}_{m,i}{e}^{{\alpha }_m}I(y_i\ne G_m(x_i))\\ & =& e^{-{\alpha }_m}{\sum }_{i=1}^N{w}_{m,i}I(y_i=G_m(x_i))+e^{{\alpha }_m}{\sum }_{i=1}^N{w}_{m,i}I(y_i\ne G_m(x_i))\\ & =& e^{-{\alpha }_m}(1-e_m)+e^{{\alpha }_m}{e}_m\\ & =& e^{-\frac{1}{2}log\frac{1-e_m}{e_m}}(1-e_m)+e^{\frac{1}{2}log\frac{1-e_m}{e_m}}{e}_m\\ & =& 2\sqrt{e_m(1-e_m)}\end{array}$$

对于表达式 $2\sqrt{e_m(1-e_m)}$，我们有 $2\sqrt{e_m(1-e_m)}\le 1$，且等号严格在 $e_m=\frac{1}{2}$ 处取得。实际上，对于每次迭代后的弱分类器，它的分类效果应该略强于随机猜测的效果，也就是错误分类率 $e_m<\frac{1}{2}$。因此，$2\sqrt{e_m(1-e_m)}<1$，也就意味着 $Z_m<1$。

在 $M$ 次迭代中，我们令 Z ˉ = max ⁡ { Z 1 , Z 2 , . . . , Z M } \bar Z=\max\{Z_1, Z_2, ..., Z_M\} Zˉ=max{Z1​,Z2​,...,ZM​}，此时，我们依然有 $\bar{Z}<1$。因此，$${\Pi }_{m=1}^M{Z}_m\le {\bar{Z}}^M$$

显然，上界 ${\bar{Z}}^M$，也就是训练误差上界是以指数速度下降的。这样，随着迭代次数的增加，我们总是可以得到一个训练误差满足条件的强分类器。