Adaboost 学习笔记

视频

1. Adaboost 介绍

Adaboost 的原理是通过每次减少上一轮被正确分类的样本权值，提高被错误分类的样本权值，再进行本轮弱分类器的分类。

---

2. Adaboost 算法推导

2.1 权值更新

对于每个样本，定义为：
$$(x^n,{\hat{y}}^n,u^n)$$
表示每个样本的 $(feature,label,权重)$，一开始默认权重都为1。
假设每个弱分类器一开始都不是烂掉的，也不能完全拟合，即 $0<ϵ<0.5$ ，我们先定义第一个弱分类器的错误率为
$${ϵ}_1=\frac{\sum _n{u}_1^n\delta (f_1(x^n)\ne {\hat{y}}^n)}{z_1}$$
其中
$$z_t=\sum _n{u}_t^n$$
我们想调整 $u$ 的权重，把错误分类的权重调大（乘 $d_1$），把正确分类的权重调小（除 $d_1$)，使得刚刚的分类器分类之后的错误率很拉跨，即 $ϵ=0.5$。

$$ϵ=\frac{\sum _{f_1(x^n)\ne {\hat{y}}^n}{u}_1^n{d}_1}{\sum _{f_1(x^n)\ne {\hat{y}}^n}{u}_1^n{d}_1+\sum _{f_1(x^n)={\hat{y}}^n}\frac{u_1^n}{d_1}}=0.5$$
$$\sum _{f_1(x^n)\ne {\hat{y}}^n}{u}_1^n{d}_1=\sum _{f_1(x^n)={\hat{y}}^n}\frac{u_1^n}{d_1}$$
$$d_1{z}_1ϵ1=\frac{1}{d_1}{z}_1(1-{ϵ}_1)$$
$$d_1=\sqrt{\frac{1-{ϵ}_1}{{ϵ}_1}}$$

将这样的权值调整后的样本，放到第二个分类器上去分类。

$$u_2^n=u_1^n{d}_1=u_1^{n}exp({\alpha }_1)$$
$$u_2^n=\frac{u_1^n}{d_1}=u_1^{n}exp(-{\alpha }_1)$$

其中
$${\alpha }_1=ln(d_1)=\frac{1}{2}ln(\frac{1-{ϵ}_1}{{ϵ}_1})$$

结合两个式子，对于每个分类器的权重 $u_t$ 到$u_{t+1}$ 都有：
$$u_{t+1}^n=u_t^{n}exp(-{\hat{y}}^n{f}_t(x^n){\alpha }_t)$$
把所有项都迭代起来：
$$u_{t+1}^n=\prod _{t=1}^{T}exp(-{\hat{y}}^n{f}_t(x^n){\alpha }_t)$$
$$z_{t+1}=\sum _n\prod _{t=1}^{T}exp(-{\hat{y}}^n{f}_t(x^n){\alpha }_t)=\sum _{n}exp(-{\hat{y}}^n\sum _{t=1}^T{f}_t(x^n){\alpha }_t)$$
其中，这里的权值和还有一个收敛的性质：
$$z_1=N$$
$$z_t=z_{t-1}{ϵ}_{t-1}exp({\alpha }_t)+z_{t-1}(1-{ϵ}_{t-1})exp(-{\alpha }_t)=2z_{t-1}\sqrt{(1-{ϵ}_{t-1}){ϵ}_{t-1}}=N\prod _{t=1}^{T-1}2\sqrt{{ϵ}_t(1-{ϵ}_t)}$$

2.2 集成分类器判别

如果采用 Uniform weight 的方法，我们可以简单的把每个分类器的分类简单加总起来，有：
$$H(x)=sign(\sum _{t=1}^T{f}_t(x))$$
这样是一种方法，但是不是最好的方法，因为每个分类器其实有好有坏，所以应该给它不同的权重。这里，我们可以发现，由 $\alpha =\frac{1}{2}ln(\frac{1-ϵ}{ϵ})$ ，错误率 $ϵ$ 越低，$\alpha$ 越高。
Non-uniform weight：
$$H(x)=sign(\sum _{t=1}^T{\alpha }_t{f}_t(x))$$
接下来，我们要证明弱分类器越多，集成的强分类器的错误率是会越小的，我们设：
$$G(x)=\sum _{t=1}^T{\alpha }_t{f}_t(x)$$
定义我们最后判别出来的强分类器的训练数据错误率为
$$\frac{1}{n}\sum _n\delta (H(x^n)\ne {\hat{y}}^n)=\frac{1}{n}\sum _n\delta ({\hat{y}}^{n}G(x^n)<0)\le \frac{1}{n}\sum _{n}exp(-{\hat{y}}^{n}G(x^n))=\frac{1}{n}{z}_{t+1}$$
根据2.1的性质，训练数据错误率上限是在不断地减小的，我们可以认为训练数据的错误率也是在不断地减小。这里我们可以认为 Adaboost 的目标函数（Objective function）是:
$$\frac{1}{n}\sum _{n}exp(-{\hat{y}}^{n}G(x^n))=\frac{1}{n}\sum _{n}exp(-{\hat{y}}^n\sum _{t=1}^T{\alpha }_t{f}_t(x))$$
${\hat{y}}^n$ 与 $G(x)$ 相同符号的时候，希望 $G(x)$ 的绝对值越来越大。

有实验表明，即使训练数据的错误率为 0 了，$G(x)$ 的绝对值还是会随弱分类器数量的增加而变大，说明样本会更清楚属于某一类，这样在测试的时候鲁棒性会变得更好。

---

3.另一个角度去看Adaboost

3.1 Gradient Boosting 算法过程

初始化 g0(x) = 0
For t=1 to T:
	Find a function ft(x) and alpha[t] to improve gt-1(x)
		gt-1(x) = sum(alpha[i] * fi(x)) (for i in range(1,t-1))
	gt(x) = gt-1(x) + alpha[t] * ft(x)
Output: H(x) = sign(gt(x))

3.2 从 Gradient Boosting 的角度看 Adaboost

假设我们使用梯度下降法去更新 $g_t(x)$ 的函数的时候，希望最小化损失函数，在Adaboost里，损失函数用的是指数损失函数，即：

$$L(g)=\sum _{n}l({\hat{y}}^n,g(x^n))=\sum _{n}exp(-{\hat{y}}^{n}g(x^n))$$

当 $g(x)=g_{t-1}(x)$ ，考虑更新当前的 $g(x)$
$$g_t(x)\leftarrow g_{t-1}(x)-\eta \frac{\partial L(g)}{\partial g}{|}_{g=g_{t-1}}$$
$$-\eta \frac{\partial L(g)}{\partial g}{|}_{g=g_{t-1}}=-\eta \sum _{n}exp(-{\hat{y}}^n{g}_{t-1}(x^n))(-{\hat{y}}^n)$$
我们之前有：
$$g_t(x)=g_{t-1}(x)+{\alpha }_t{f}_t(x)$$
${\alpha }_t>0$，如果$f_t(x^n)$ 与 $\sum _{n}exp(-{\hat{y}}^n{g}_{t-1}(x^n))({\hat{y}}^n)$ 的更新方向越相同的话（每个函数都相当于是无穷多维得向量），那么就会使 $g_t(x)$ 的 Loss 变得更小，所以我们希望找一个$f_t(x^n)$，使得下面式子最大：
$$\sum _{n}exp(-{\hat{y}}^n{g}_{t-1}(x^n))({\hat{y}}^n)f_t(x^n)$$
展开会发现：
$$exp(-{\hat{y}}^n{g}_{t-1}(x^n))=exp(-{\hat{y}}^n\sum _{t=1}^{t-1}{\alpha }_t{f}_t(x^n))=\prod _{t=1}^{T-1}exp(-{\hat{y}}^n{f}_t(x^n){\alpha }_t)=u_t^n$$
最后我们对损失函数求个偏导，即可发现就是 Adaboost 的参数

$$L(g)=\sum _{n}exp(-{\hat{y}}^n(g_{t-1}(x^n)+{\alpha }_t{f}_t(x^n)))=\sum _{n}exp(-{\hat{y}}^n{g}_{t-1}(x^n))exp(-{\hat{y}}^n{\alpha }_t{f}_t(x^n))=\sum _{f_t(x^n)\ne {\hat{y}}^n}exp(-{\hat{y}}^n{g}_{t-1}(x^n))exp({\alpha }_t)+\sum _{f_t(x^n)={\hat{y}}^n}exp(-{\hat{y}}^n{g}_{t-1}(x^n))exp(-{\alpha }_t)$$

$$\frac{\partial L}{\partial {\alpha }_t}=0$$

得到:

$${\alpha }_t=\frac{1}{2}ln(\frac{1-{ϵ}_t}{{ϵ}_t})$$

---

4.Adaboost 算法流程

大致的算法流程：根据上一步的权重，算出当前步的错误率，然后算出调整的系数 ${\alpha }_t$ 和 权重调整之后的总和 $Z_t$，再把权重进行归一化算出概率。最后把每个样本在 每个分类器上的权重 * 该分类器分成的类别 加总，即是这个样本所识别出来的类型。（上文 2.2 有解释）