“Ensemble methods” is a machine learning paradigwhere multiple(homogenous/heterogeneous)individual leaners are generated and combined forthe same problem.
集成学习通过构建并结合多个学习器来完成学习任务,有时也被成为多分类器系统。
一、介绍
集成学习的一般结构:
1.先生成一组个体学习器
2.再用某种策略将他们结合起来。
集成学习分为同质和异质。同质的集成包含的同种类型的个体学习器,通常称为基学习器;异质的当然包含的是不同的个体学习器,通常称为组件学习器。
集成学习可显著提高“弱学习器”的泛化能力。
学习的关键:
个体学习器应该“好而不同”。即个体学习器有一定的“准确性”(错误率小一点),并且要有“多样性”,即学习器间具有差异。
根据个体学习器的生成方式,目前的集成学习方法大致分为两大类:
1.个体学习器之间存在强依赖关系、必须串行生成的序列化方法,比如Boosting
2.个体学习之间不存在强依赖关系(相对独立),可同时生成的并行化方法,比如Bagging和“随机森林”。
二、Boosting(串行生成)
1.机制:
先从初始训练集训练出一个基