傻子都能看懂的——详解AdaBoost原理

之前纠结是否要离开CSDN，最近还是决定留下来继续。

关于Boost

集成学习中有两个重要概念，分别为Bagging和Boost。其中Boost也被称为增强学习或提升法，是一种重要的集成学习方法，它能够将预测精度仅仅比随机猜测略高的弱学习器增强为预测精度很高的强学习器。这是在直接构造强学习器较为困难的情况下，为学习算法提供了一种有效的新思路和新方法。其中较为成功的是上个世纪90年代Yoav Freund和Robert Schapire提出的AdaBoost算法。

Boost原理图

可以将上图过程总结为：

1. 对原始数据集初始化权重
2. 用带权值数据集训练弱学习器
3. 根据弱学习器的误差计算弱学习器的权重
4. 调整数据集的权重
5. 重复第2-4步K-1次
6. 将K-1个弱学习器的结果进行加权组合

AdaBoost

1. 概要介绍

AdaBoost是Adaptive Boosting（自适应增强）的缩写，它的自适应在于：被前一个基本分类器误分类的样本的权值会增大，而正确分类的样本的权值会减小，并再次用来训练下一个基本分类器。同时，在每一轮迭代中，加入一个新的弱分类器，直到达到某个预定的足够小的错误率或预先指定的最大迭代次数再确定最后的强分类器。