AdaBoost

这几天学了AdaBoost算法，自己其实也没有很理解，但还是要总结一下！
资料：
西瓜书—机器学习（内容偏少）
统计学习方法—李航（内容详细，还有例题，更加容易理解）
机器学习实战
博客：
https://blog.csdn.net/guyuealian/article/details/70995333 （例子详细，一步一步计算的，看完了就懂了吧） https://blog.csdn.net/px_528/article/details/72963977

AdaBoost算法是从训练数据上学习一系列弱分类器，再对这些分类器进行线性组合，从而学习到一个强分类器。
权重
在该算法上存在两种权重，一种是训练数据的权重，一种是分类器权重。
训练数据权重
每个数据都有一个权重系数，在训练分类器之前，会给每个数据都赋予一个相同的权重，之后会循环训练出一个个弱分类器，当训练出一个分类器的时候，这些权重就会被更新，更新的依据就是这个分类器的正确性，如果某个训练数据的分类结果就出现错误，那么该数据的权重就会变得很大，在训练下一个分类器时，该数据有很大的可能性会被分对，也就是说，当前分类器的训练是建立在上个分类器的基础上的，这样，分错的训练数据就会逐渐地被分类正确。
分类器权重
显然，分类器权重越大，则代表这个分类器错误率越低。
训练算法：
对于每一次迭代：
1 训练得到一个弱分类器（单层决策树）
2 将弱分类器加入到弱分类器组中
3 计算分类器权重
4 更新训练 数据权重向量
5 更新累计类别估计值和错误率
6 错误率为0就退出循环
单层决策树
单层决策树即弱分类器，通常含有特征维，阈值，权重。
具体公式可参考统计学习方法。