Boosting

Adaboost

AdaBoost-注意两个值：1、预设错误率；2、指定的最大迭代次数。

算法主要分为以下3步：
1).假设有N个训练样本数据，初始时给每个训练样本赋予相同的权值：1/N。
2).训练弱学习器。在训练过程中，如果某个样本点已经被准确地预测，那么在构造下一个训练集中，它的权值就被降低；相反，如果某个样本点没有被准确地预测，那么它的权值就得到提高。然后，权值更新过的样本集被用于训练下一个学习器，整个训练过程反复迭代地进行，直到迭代次数等于预设值。
3).将各个训练得到的弱学习器组合成强学习器。各个弱学习器的训练过程结束后，加大预测误差率小的弱学习器的权重，使其在最终的预测函数中起着较大的决定作用，而降低预测误差率大的弱学习器的权重，使其在最终的预测函数中起着较小的决定作用。换言之，误差率低的弱学习器在最终学习器中占的权重较大，否则较小。