集成学习

 集成学习(ensemble learning)是一种新的学习策略，对于一个复杂的分类问题，通过训练多个分类器，利用这些分类器来解决同一个问题。在集成学习中，通过学习多个分类器，通过结合这些分类器对于同一个样本的预测结果，给出最终的预测结果。

集成学习中的典型方法

 在集成学习方法中，其泛化能力比单个学习算法的泛化能力强很多。在集成学习方法中，根据多个分类器学习方式的不用，可以分为:bagging算法和Booting算法。

 bagging 算法通过对训练样本有放回的抽取，由此产生多个训练数据的子集，并在每一个训练集的子集上训练一个分类器，最终分类结果是由多个分类器的分类结果投票产生的。算法的整个过程如所示：

 在上图中，对于一个分类问题而言，假设有n个分类器，每次通过有放回的从原始数据集中抽取训练样本，分别训练这n个分类器。最终，通过组合n个分类器的结果作为最终的预测结果。

 与Bagging算法不同，boosting算法通过顺序的给训练集中的数据项重新加权创造不同的基础学习器。Boosting算法的核心思想是重复应用一个基础学习器来修改训练数据集，这样在预定数量的迭代下可以产生一系列的基础学习器。在训练开始，所有的数据项都会被初始化为同一个权重，在这次初始化之后，每次增强的迭代都会生成一个适应加权之后的训练数据集的基础学习器。每一次迭代的错误率都会计算出来，而且正确划分的数据项的权重会被降低，然后错误划分的数据项权重将会增大。boosting算法的最终模是一系列基础学习器的线性组合，而且系数依赖于各个基础学习器的表现。Boosting目前使用最广泛的是adaboost算法和GBDT算法。

总结：

 Bagging将在Bootstrap采样得到的不同训练子集上的弱学习器的结果综合考虑，各个弱学习器的构建过程是并行的。而Boosting是通过串行地不断迭加弱学习器形成一个强学习器，是学习模型的提升过程。此外，Boosting迭代在降低训练误差的同时，使模型预测的确信度（margin）不断提高，是它获得较好泛化能力的主要原因，而Bagging主要是通过平均来降低模型的方差(variation).