集成学习-Adaboost

Adaboost是集成学习中经典的算法之一。Adaboost算法，英文全称为：Adaptive Boosting，即自适应增强，是一种典型的Boosting算法。

对于集成学习，对于给定的数据集，学习到一个较弱的分类器比学习到一个强分类器容易的多，boosting就是从弱学习器出发，反复学习，得到多个弱分类器，最后将这些弱分类器组合成强分类器。

Adaboost算法主要的工作是以下两点。

1. 提高那些被前一轮弱分类器错误分类的样本的权值，而降低那些被正确分类样本的权值.，这样下个分类器就能专注于那些不好识别的样本，针对性的建立分类器。

2. 对于若分类器的组合，Adaboost采取加权多数表决的方式，即加大分类错误率较小的弱分类器的权值，使其在表决中起较大作用，减小分类错误率较高的弱分类器的权值，使其在表决中起较小作用。

算法流程如下所示：