集成算法

集成算法概述
集成学习是当下十分流行的机器学习算法，它本身并不是一个单独的机器学习算法，而是通过在数据上构建多个模型，集成所有模型的建模结果。
多个模型集成成为的模型叫集成评估器，组成集成评估器的模型叫做基评估器。
集成算法的目标
集成算法会考虑多个评估器的建模结果，汇总之后得到一个综合的结果，以此来获得更好的回归或分类表现。
集成算法的类别
通常来讲，分为三类：
1）装袋法（Bagging）
2）提升法（Boosting）
2）stacking
其中（1）（2）较为常用

• 装袋法的核心是：构建多个相互独立的评估器，对其预测进行平均或多数表决原则来决定集成评估器的结果。
  装袋法的代表模型是随机森林。
• 提升法的核心是：其基评估器是相关的，是按顺序一一构建的。结合弱评估器的力量一次一次对难以评估的样本进行预测，从而形成一个强评估器。
  提升法的代表模型是Adaboost和梯度提升树。