AdaBoost原理

 本文为MIT视频的Adaboost算法的总结

AdaBoost：针对同一训练集，训练不同的弱分类器，将多个弱分类器组合成最终的强分类器，投票机制，分类效果好的分类器具有较大权重，分类效果差的权重小。

在每一轮训练中进行样本权值的更新，前一轮分类错误的样本的权值加大。

 

 

-1表示负例，+1表示正例

 

首先初始化正负样本的权重，若正负样本的分布比例差异不大，则权重

未出现break则训练T轮，得到T个分类器

For t = 1, …,T

1、以最小化误差的方式（一般使用决策树）训练 T 轮的分类器，估计误差

2、若误差 则跳出循环，不再进行以下各轮估计。

3、此时误差小于0.5，计算该分类器的权重 ，误差越大，分类器的权值越低。

4、  更新样本的权值分布  根据如下式子可化简更新公式 权值更新公式：   Z为归一化因子，使样本权值之和为1. 更新权值后的分布为正确分类和错误分类的权值各占0.5，因此权值更新的过程可看做resize的过程

End for

5、得到强分类器