AdaBoost算法思想及算法过程

一.算法思想

\quad\quad AdaBoost是一种特殊的Boosting族算法，它与众多的Boosting一族的算法的工作机制一致：先从初始训练样本中训练一个基学习器（也称弱学习器），再根据基学习器的表现对训练样本的分布进行调整，使得先前基学习器分类错误的样本在后续中受到更多的关注（即加大权重），然后基于调整后的样本分布来训练下一个基学习器，如此重复进行，直至基学习器的数量达到事先指定的值T，最终将这T个基学习器进行加权结合。

二.算法过程

给定训练集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)}
其中 x i ∈ X , y i ∈ { − 1 , + 1 } x_i\in{X},y_i\in{\{-1,+1\}} xi​∈X,yi​∈{−1,+1}
初始化训练样本权重$D_1(i)=\frac{1}{m}(i=1,2,...,m)$
for t = 1,2,…,T:
\quad 训练弱分类器$h_t=\zeta (D,D_t)$
\quad 计算错误率${ϵ}_t=P_{r_i\sim D_t}(h_t(x_i)\ne y_i)$
\quad 计算弱分类器的权重${\alpha }_t=\frac{1}{2}ln(\frac{1-{ϵ}_t}{{ϵ}_t})$
\quad 更新训练样本的权重：
$$D_{t+1}=\frac{D_t(i)}{Z_t}\times \{\begin{array}{r}{e}^{-\alpha t},h_t(x_i)=y_i\\ e^{\alpha t},h_t(x_i)\ne y_i\end{array}=\frac{D_t(i)}{Z_t}{e}^{-\alpha t{y}_i{h}_t(x_i)}$$
输出结果$H_{final}(x_i)=sign({\sum }_{t=1}^T{\alpha }_t{h}_t(x_i))$