第八章提升方法.8.2 AdaBoost的训练误差

本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。
公式输入请参考： 在线Latex公式

AdaBoost训练误差上界的证明

p160.AdaBoost算法最终分类器的训练误差界为：
$$\frac{1}{N}\sum _{i=1}^{N}I(G(x_i)\ne y_i)\le \frac{1}{N}\sum _i\exp (-y_{i}f(x_i))=\prod _m{Z}_m\text{\hspace{1em}(1)}$$
其中
$$G(x_i)=sign[f(x)]=sign\left[\sum _{m=1}^M{\alpha }_m{G}_m(x)\right]$$
正确分类的点可以写为：
$$I(G(x_i)\ne y_i)=0\le \exp (-y_{i}f(x_i))=e^{-1}$$
错误分类的点可以写为：
$$I(G(x_i)\ne y_i)=1\le \exp (-y_{i}f(x_i))=e^{-1}$$
因此，公式1的前面部分就是不用证明了，成立。
$Z_m$是归一化因子，在权值更新的公式里面出现过：
$$w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp (-{\alpha }_m{y}_i{G}_m(x_i))$$
$Z_m$的定义为：
$$Z_m=\sum _{i=1}^N{w}_{mi}\exp (-{\alpha }_m{y}_i{G}_m(x_i))$$
将权值更新的两边同乘$Z_m$：
$$Z_m{w}_{m+1,i}=w_{mi}\exp (-{\alpha }_m{y}_i{G}_m(x_i))\text{\hspace{1em}(2)}$$
有了这个关系，现在就是要证明公式1的后面部分：
$$\frac{1}{N}\sum _i^N\exp (-y_{i}f(x_i))=\prod _m{Z}_m\text{\hspace{1em}(3)}$$
公式3的左边把$f(x_i)={\sum }_{m=1}^M{\alpha }_m{G}_m(x)$带入：
$$\begin{gathered} \frac{1}{N}\sum _{i=1}^N\exp [-f(x_i)\sum _{m=1}^M{\alpha }_m{y}_i{G}_m(x)] \\ =\sum _{i=1}^N\frac{1}{N}\exp [-\sum _{m=1}^M{\alpha }_m{y}_i{G}_m(x)] \end{gathered}$$
上式的$\frac{1}{N}$相当于第一次为N个数据分配权值，每个数据的权值是$\frac{1}{N}$，因此$\frac{1}{N}$可以写为$w_{1,i}$，指数的求和放到前面去，变成连乘，上式就变成：
$$\sum _{i=1}^N{w}_{1,i}\prod _{m=1}^M\exp [-{\alpha }_m{y}_i{G}_m(x)]$$
把$m=1$的那项写出来：
$$\sum _{i=1}^N{w}_{1,i}\exp [-{\alpha }_1{y}_i{G}_1(x)]\prod _{m=2}^M\exp [-{\alpha }_m{y}_i{G}_m(x)]\text{\hspace{1em}(4)}$$
对于右边，用公式2来推：
$$Z_1{w}_{2,i}=w_{1i}\exp (-{\alpha }_1{y}_i{G}_1(x_i))\text{\hspace{1em}(5)}$$
把公式4中部分用5代替：
$$Z_1\sum _{i=1}^N{w}_{2,i}\prod _{m=2}^M\exp [-{\alpha }_m{y}_i{G}_m(x)]\text{\hspace{1em}(6)}$$
同样的，按照思路，公式6可以写成：
$$\begin{gathered} Z_1{Z}_2\sum _{i=1}^N{w}_{2,i}\prod _{m=2}^M\exp [-{\alpha }_m{y}_i{G}_m(x)] \\ =Z_1{Z}_2\cdots Z_m\sum _{i=1}^N{w}_{m+1,i} \end{gathered}$$
由于${\sum }_{i=1}^N{w}_{m+1,i}$是概率分布，因此该项求和为1。
$$Z_1{Z}_2\cdots Z_m=\prod _{m=1}^M{Z}_m$$
证明完毕。

AdaBoost二分类误差上界

先把要证明的东西推出来，根据$Z_m$的定义为：
$$Z_m=\sum _{i=1}^N{w}_{mi}\exp (-{\alpha }_m{y}_i{G}_m(x_i))$$
分开写：
$$Z_m=\sum _{G(x_i)\ne y_i}{w}_{mi}\exp ({\alpha }_m)+\sum _{G(x_i)=y_i}{w}_{mi}\exp (-{\alpha }_m)$$
由于$e_m={\sum }_{G(x_i)\ne y_i}{w}_{mi}$，上式变成：
$$(1-e_m)e^{-{\alpha }_m}+e_m{e}^{{\alpha }_m}$$
根据导论那节讲的：
$${\alpha }_m=\frac{1}{2}\log \frac{1-e_m}{e_m}$$
带入上上式：
$$(1-e_m)e^{-\frac{1}{2}\log \frac{1-e_m}{e_m}}+e_m{e}^{\frac{1}{2}\log \frac{1-e_m}{e_m}}$$
又根据：$a\log b=\log b^a,e^{\log e^a}=a$
$$\begin{gathered} (1-e_m){\left(\frac{1-e_m}{e_m}\right)}^{-\frac{1}{2}}+e_m{\left(\frac{1-e_m}{e_m}\right)}^{\frac{1}{2}} \\ =(1-e_m)\sqrt{\frac{e_m}{1-e_m}}+e_m\sqrt{\frac{1-e_m}{e_m}} \\ =\sqrt{e_m(1-e_m)}+\sqrt{e_m(1-e_m)} \\ =2\sqrt{e_m(1-e_m)} \end{gathered}$$
因此根据上节的结论：
$$\prod _{m=1}^M{Z}_m=\prod _{m=1}^{M}2\sqrt{e_m(1-e_m)}$$
这里令
$${\gamma }_m=\frac{1}{2}-e_m$$
则上上式变成：
$$\prod _{m=1}^{M}2\sqrt{1-4{\gamma }_m^2}$$
现在要证明上式有上界：
$$\prod _{m=1}^{M}2\sqrt{1-4{\gamma }_m^2}\le \exp (-2\sum _{m=1}^M{\gamma }_m^2)$$
这里要用到泰勒级数展开，对于不等式左边：
$$f(x)=\sqrt{1-x}=(1-x{)}^{\frac{1}{2}}$$
展开后：
$$f(x)=f(0)+x{f}^{\prime }(0)+\frac{1}{2}{x}^2{f}^{\prime \prime }(0)+\cdots$$
取前面两阶展开做近似
$$f(x)\approx 1-\frac{1}{2}-\frac{1}{8}{x}^2$$
相应的：
$$f(4{\gamma }^2)=\sqrt{1-4{\gamma }^2}\approx 1-2{\gamma }^2-2{\gamma }^4$$
同理，不等式右边：
$$\exp (1-2{\gamma }^2)\approx 1-2{\gamma }^2+2{\gamma }^4$$
可以看到右边大于等于左边，当$\gamma =0$时，等号成立。