以AdaBoost算法为例，详解集成学习的思想（二）

接下来介绍Boosting族算法中最著名的AdaBoost算法，其基本思想如下：
1、改变训练数据的权值或概率分布，提高前一轮弱分类器分错的样本的权值，降低分类正确的样本的权值（体现在什么地方？乘以exp()）。举个例子，我们平时记单词，总是选择前一天没有记下来的单词进行强化训练。
2、如何将弱分类器组合成一个强分类器？加大分类错误率小的基分类器的权值，降低分类错误率大的基分类器的权值。
AdaBoost算法是加法模型和前向分步算法的结合，使用的是指数损失函数。
0-1损失函数：
指数损失函数： 指数损失函数是0-1损失函数的一种代理函数。

下面介绍算法的详细推导过程：从基于加法模型迭代式优化指数损失函数的角度推导。


算法大致流程如下：

Boosting算法要求基学习器能对特定的数据分布进行学习，这可以通过重赋权值实施，即在训练过程的每一轮中，根据样本分布为每个训练样本重新赋一个权重。

对无法接受带权样本的基学习算法，则可以通过重采样法来处理，即在每一轮的学习中，根据样本分布对训练集重新进行采样，然后训练基学习器。

一般而言，这两种做法没有显著的优劣差别。

Boosting算法在训练的每一轮都要检查当前的生成的基学习器的正确率大于0.5，若不满足，则当前学习器被抛弃，且学习过程停止。此时可采用重采样法，抛弃不满足条件的基学习器之后，根据当前分布重新对训练样本进行采样，重新训练基学习器，直到满足训练次数T。