Adaboost

Adaboost

1.思想

通过改变数据概率分布，来得到一系列的弱分类器。

主要有两个问题：

（1）如何改变数据分布

将上一弱分类器误分样例的权重提高，正确分类样例的权重降低

（2）如何将若分类器组合为强分类器

加权求和

2.算法流程

输入：训练样本集 T = ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) , 其 中 x ∈ χ ⊂ R n , y ∈ { 1 , − 1 } T={(x_1,y_1),(x_2,y_2),...,(x_n,y_n)},其中x\in\chi\subset{R^n},y\in{\{1,-1\}} T=(x1​,y1​),(x2​,y2​),...,(xn​,yn​),其中x∈χ⊂Rn,y∈{1,−1}

输入：分类器$G(x)={\sum }_{t=1}^T{a}_t{G}_t(x)$

1. 初始化样本权重$D_1=(w_{1,1},w_{1,2},...,w_{1,m}),w_{1,i}=\frac{1}{m}$

2. 根据样本分布$D_t$，训练得到基分类器$G_t(x)$

3. 计算样本分布$D_t$下，$G_t(x)$的误差${\epsilon }_t$

4. 计算该分类器的权重$a_t=\frac{1}{2}\ln \frac{1-{\epsilon }_t}{{\epsilon }_t}$

   5.根据$a_t$调整样本集的分布，得到$D_{t+1}$，$D_{t+1}=(w_{t+1,1},w_{t+1,2},...,w_{t+1,m}),w_{t+1,i}=\frac{w_{t,i}exp(-a_t{y}_t{h}_t(x))}{z_m}$,$z_m$是归一化因子。

   6.重复2，3，4，5步直到得到T个基分类器

tips:

1.分类器的权重$a_t$在当${\epsilon }_t\le 0.5$时，$a_t\ge 0$并且$a_t$随着${\epsilon }_t$的减少而增大（基分类器的误差越小，对于的权重就越大）。当${\epsilon }_t\ge 0.5$时，$a_t\le 0$。此时认为基分类器效果太差，差于随机猜测。抛弃当前基分类器。

3.算法解释

假设空间：加法模型$G(x)={\sum }_{t=1}^T{G}_t(x)$

损失函数：指数损失函数$L_{exp(G(x)|D)=E_{x\sim D}}(e^{-f(x)G(x)})$

优化算法：前向分布算法：按照2中的算法依次得到T个基分类器

4.证明

4.1证明分类器权重是$a_t$

输入：当前样本分布$D_t$，当前的基分类器$h_t(x)$。$h_t(x)$的权重未知，设为$\omega$。权重$\omega$应使得指数损失函数在样本分布$D_t$下最小化。即$\omega =\underset{\omega }{\mathrm{argmin}}L(w{h}_t(x)|D_t)$
$$\begin{gathered} L(w{h}_t(x)|D_t)=E_{x\sim D_t}(exp(-f(x)w{h}_t(x))) \\ =exp(-w)p(f(x)=h_t(x))+exp(w)p(f(x)\ne h_t(x)) \\ =exp(-w)(1-{\epsilon }_t)+exp(w){\epsilon }_t \end{gathered}$$
令$\frac{\partial L(w{h}_t(x)|D_t}{\partial w}=0$求得。$w=\frac{1}{2}\ln \frac{1-{\epsilon }_t}{{\epsilon }_t}$

4.2对数损失函数等价于极大化后验概率

$$\begin{gathered} L(G(x)|D)=E_{x\sim D}(exp(-f(x)G(x))) \\ =exp(-G(X))p(f(x)=1|D)+exp(G(x))p(f(x)=-1|D) \end{gathered}$$

对G(x)求偏导得,并令其等于0，可求得G(x)
$$\frac{\partial L(G(x)|D)}{\partial G(x)}=-exp(-G(X))p(f(x)=1|D)+exp(G(x))p(f(x)=-1|D)$$

$$G(x)=\frac{1}{2}\ln \frac{p(f(x)=1|D)}{p(f(x)=-1|D)}$$

考虑到决策函数为sign(G(x))，即有以下关系成立。
$$sign(G(x))=\{\begin{array}{ll}1,& p(f(x)=1|D)>p(f(x)=-1|D)\\ -1,& p(f(x)=1|D)<p(f(x)=-1|D)\end{array}$$
即评价指标为指数损失函数得到的最优模型，实际上是根据最大后验概率进行决策的。