集成学习笔记整理

 

        一般指分类器集成。 分类器集成，其实就是集成学习，通过构建并结合多个学习器来完成学习任务。

        为了学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。

        集成学习的一般结构为：先产生一组“个体学习器”，再用某种策略将它们结合起来。集成中只包含同种类型的个体学习器，称为同质，当中的个体学习器亦称为“基学习器”，相应的算法称为“基学习算法”。集成中包含不同类型的个体学习器，称为“异质”，当中的个体学习器称为“组建学习器”。

个体学习器间存在强依赖关系、必须串行生成的序列化方法，代表为Boosting
个体学习器间不存在强依赖关系、可同时生成的并行化方法，代表为Bagging和随机森林

注：所谓串行生成的序列化方法就是除了训练第一个之外，其他的学习器学习都需要依赖于前面生成的学习的结果。

---

参考资料

机器学习之集成学习(ensemble learning)_perfect1t的博客-CSDN博客_集成学习

集成学习（Ensemble Learning) - 知乎