机器学习集成学习

集成学习

机器学习的监督算法中，目的都是训练出来一个非常好的模型，但通常，我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。有某个模型某个方面很好，我们就想，可不可以把这些模型的都综合起来，这样让他各个方面都很棒

成方法是将几种机器学习技术组合成一个预测模型的元算法，以达到减小方差（bagging）、偏差（boosting）或改进预测（stacking）的效果。

数据集
数据集大：划分成多个小数据集，学习多个模型进行组合

数据集小：利用Bootstrap方法进行抽样，得到多个数据集，分别训练多个模型再进行组合

集合方法可分为两类：

序列集成方法，其中参与训练的基础学习器按照顺序生成（例如 AdaBoost）。序列方法的原理是利用基础学习器之间的依赖关系。通过对之前训练中错误标记的样本赋值较高的权重，可以提高整体的预测效果。
并行集成方法，其中参与训练的基础学习器并行生成（例如 Random Forest）。并行方法的原理是利用基础学习器之间的独立性，通过平均可以显著降低错误。

总结一下，集成学习法的特点：

1、 将多个分类方法聚集在一起，以提高分类的准确率。

（这些算法可以是不同的算法，也可以是相同的算法。）

2、集成学习法由训练数据构建一组基分类器，然后通过对每个基分类器的预测进行投票来进行分类

3、严格来说，集成学习并不算是一种分类器，而是一种分类器结合的方法。

4、通常一个集成分类器的分类性能会好于单个分类器

5、 如果把单个分类器比作一个决策者的话，集成学习的方法就相当于多个决策者共同进行一项决策。