《机器学习》第八章 集成学习 总结

个体与集成
集成学习（ensemble learning）：通过构建并结合多个学习器来完成学习任务，也叫做多分类器系统（multi-classifier system）和基于委员会的学习（committee-based learning）。其一般结构是先产生一组个体学习器（individual learner），再用某种策略将它们结合起来

同质（homogeneous）集成：集成中只包含同种类型的个体学习器，这些个体学习器称为基学习器（base learner），相应的学习算法称为基学习算法（base learning algorithm）

异质（heterogenous）集成：集成中个体学习器由不同类型的学习算法生成，这是不再有基学习算法，个体学习器一般称为组件学习器（component learner）或直接称为个体学习器

根据个体学习器的生成方式，目前的集成学习方法大致可以分为两大类：个体学习器存在强依赖关系、必须串行生成的序列化方法；个体学习器间不存在强依赖关系、可同时生成的串行化方法。前者代表是Boosting，后者代表是Bagging和随机森林（random forest）

Boosting
一族可将弱学习器提升为强学习器的算法。这族算法的工作机制是先从初始训练集中训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器，直至基学习器数目达到事先指定的值。此外，从偏差-方差角度