Adaboost算法

1.Adaboost算法简介

\hspace*{0.6cm} AdaBoost，英文全称为"Adaptive Boosting"（自适应增强），是一种机器学习方法，AdaBoost方法的自适应在于：AdaBoost方法对于噪声数据和异常数据很敏感。AdaBoost方法中使用的分类器可能很弱（比如出现很大错误率），但只要它的分类效果比随机好一点（比如两类问题分类错误率略小于0.5），就能够改善最终得到的模型。
\hspace*{0.6cm} AdaBoost方法是一种迭代算法，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率。每一个训练样本都被赋予一个权重，表明它被某个分类器选入训练集的概率。如果某个样本点已经被准确地分类，那么在构造下一个训练集中，它被选中的概率就被降低；相反，如果某个样本点没有被准确地分类，那么它的权重就得到提高。通过这样的方式，AdaBoost方法能“聚焦于”那些较难分类的样本上。

2.原理推导

\hspace*{0.6cm} 假设训练集样本是:T={$(x_1,y_1),(x_2,y_2),..,(x_n,y_n)$}，假设进行二分类，得到的结果为{+1,-1}，初始化数据集的权重:$D_1$=($w_{11},w_{12},w_{13},...,w_{1n}$)，初始时$W_{1i}=\frac{1}{n}$,i=1,2,3,…,n，下面迭代step1、step2步骤，设迭代K轮

step 1. 得到模型权重分布

\hspace*{0.6cm} 设在权重为$D_m$的数据集上得到的分类器结果为$G_m(x)$，则错误率为$e_m=P(G_m(X)\ne y)={\sum }_{i=1}^n{w}_{mi}I(G_m(x_i)\ne y_i))$，取$G_m(x)$的权重系数为${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$，由此可见$e_m$越小，权重系数越大。分类越准确，则模型权重越大。

step 2.更新数据集的权重分布

\hspace*{0.6cm} 对于第m+1个分类器的数据集权重为$w_{m+1,i}=\frac{w_{k,i}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i))$，其中$z_m={\sum }_{i=1}^n{w}_{k,i}exp(-{\alpha }_m{y}_i{G}_m(x_i))$，为规范化因子。当分类不正确时，$y_i{G}_m(x_i)=$-1，所以对应的$w_{m+1,i}$会更大，体现了对分类错误数据增加权重的思想。

重复上述的step1与step2共k轮，得到最终的f(x)=sign(${\sum }_{i=1}^k{\alpha }_i{G}_i(x)$)
上述的$\alpha 、G$的优化有专门的推导，但是我暂时没写

3.算法实现

\hspace*{0.6cm} …