集成学习总结

集成学习的概念

（学习借鉴）
 在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但在实际应用中，往往单个模型只能在某一方面表现的好，单个模型的稳定性也不能得到保证，为了解决这个问题，集成学习的概念被提出。
 集成学习就是组合多个弱监督模型以期得到一个更好更全面的强监督模型，简而言之，集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。其中集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。
集成学习示意图

常见的集成方法

1、自助聚合（bootstrap aggregating，bagging）
 Bagging即套袋法，是bootstrap的衍生，bootstrap也称为自助法，它是一种有放回的抽样方法，目的为了得到统计量的分布以及置信区间，其算法过程如下：
  A）从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（k个训练集之间是相互独立的）
  B）每次使用一个训练集得到一个模型，k个训练集共得到k个模型。（注：这里并没有具体的分类算法或回归方法，我们可以根据具体问题采用不同的分类或回归方法，如决策树、感知器等）
  C）对分类问题：将上步得到的k个模型采用投票的方式得到分类结果；对回归问题，计算上述模型的均值作为最后的结果。（所有模型的重要性相同）

由此，总结一下bagging方法：
　　1） Bagging通过降低基分类器的方差，改善了泛化误差
　　2）其性能依赖于基分类器的稳定性；如果基分类器不稳定，bagging有助于降低训练数据的随机波动导致的误差；如果稳定，则集成分类器的误差主要由基分类器的偏倚引起
　　3） 由于每个样本被选中的概率相同，因此bagging并不侧重于训练数据集中的任何特定实例
2、提升法（boosting）
 Boosting是一类可将弱学习器提升为强学习器的算法。这一类算法的工作机制都是类似的：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。
 常用的方法：AdaBoost（Adaptive boosting）算法：刚开始训练时对每一个训练例赋相等的权重，然后用该算法对训练集训练t轮，每次训练后，对训练失败的训练例赋以较大的权重，也就是让学习算法在每次学习以后更注意学错的样本，从而得到多个预测函数。通过拟合残差的方式逐步减小残差，将每一步生成的模型叠加得到最终模型。
Bagging和Boosting的区别：
 1）样本选择上：
  Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的。
  Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。
 2）样例权重：
  Bagging：使用均匀取样，每个样例的权重相等
  Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大。
 3）预测函数：
  Bagging：所有预测函数的权重相等。
  Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重。
 4）并行计算：
  Bagging：各个预测函数可以并行生成
  Boosting：各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。
3、堆叠法（stacking）
具体可见此作者博客
 Stacking方法是指训练一个模型用于组合其他各个模型。首先我们先训练多个不同的模型，然后把之前训练的各个模型的输出为输入来训练一个模型，以得到一个最终的输出。理论上，Stacking可以表示上面提到的两种Ensemble方法，只要我们采用合适的模型组合策略即可。但在实际中，我们通常使用logistic回归作为组合策略。

 使用stacking，组合很多模型，有时甚至要计算几十个小时。但是，这种集成方法同样有着它的优点:
 1）它可以帮你打败当前学术界性能最好的算法（单个机器学习方法）
 2）我们有可能将集成的知识迁移到到简单的分类器上
 3）自动化的大型集成策略可以通过添加正则项有效的对抗过拟合，而且并不需要太多的调参和特征选择
 4）这是目前提升机器学习效果最好的方法，或者说是最效率的方法集成方法
4、blending法
 Blending方式和Stacking方式很类似，这里不再赘述，相比Stacking更简单点，两者区别是：
  1）blending是直接准备好一部分10%留出集只在留出集上继续预测，用不相交的数据训练不同的 Base Model，将它们的输出取（加权）平均。实现简单，但对训练数据利用少了。
  2）blending 的优点是：比stacking简单，不会造成数据穿越（所谓数据创越，就比如训练部分数据时候用了全局的统计特征，导致模型效果过分的好），generalizers和stackers使用不同的数据，可以随时添加其他模型到blender中。
  3）缺点在于：blending只使用了一部分数据集作为留出集进行验证，而stacking使用多折交叉验证，比使用单一留出集更加稳健