集成学习和Boosting原理总结

接自https://blog.csdn.net/Y_hero/article/details/88376573 bagging与随机森林。

1.集成学习

 集成学习(ensemble learing)通过构建并结合多个学习器来完成学习任务，有时也被称为多酚类器系统(multi-classifier system),基于委员会的学习(sommittee-baseslearing)等。

 以下集成学习介绍来自西瓜书；

个人感觉颇有几分卷积神经网络的味道，每个卷积核提取部分信息，逐层向上传递，但是神经网络有着很多超参数。
从上述的介绍我们可以看出，如何产生“好而不同”的个体学习器，是集成学习研究的核心。

根据个体学习器的生成方式，集成学习可分为两大类
1.个体学习器间存在强依赖关系，必须穿行生成的序列化方法(Boosting)
2.个体学习器间不存在强依赖关系，可同时生成的并行化方法(Bagging和随机森林)

也可分为如下三类：
1.用于减少方差的bagging
2.用于减少偏差的boosting
3.用于提升预测结果的stacking

集成学习有两个主要的问题需要解决：

第一是如何得到若干个个体学习器，
第二是如何选择一种结合策略，将这些个体学习器集合成一个强学习器。

目前来说，同质个体学习器的应用是最广泛的，一般我们常说的集成学习的方法都是指的同质个体学习器。而同质个体学习器