集成学习的概念
定义:集成学习通过构建并结合多个学习器来完成学习任务。
分类:只包含同种类型的个体学习器,这样的集成是“同质”的,例如都是神经网络或者决策树;包含不同类型的个体学习器,这样的集成是“异质”的,例如同时包括神经网络和决策树。
作用:集成学习通过将多个学习器进行结合,常可获得比单一学习器显著优越的泛化性能。
条件:要获得较好的集成效果,应该要求学习器“好而不同”(这也是集成学习研究的核心)。好而不同的意思是,单个学习器要有一定的“准确性”,而且学习器之间要有“多样性”。集成结果通过“投票法”得出,即“少数服从多数”(如果投票结果相同,可随机选择)。
下图体现了“好而不同”原则:图(a)中每个分类器都有66.6%的精度,但集成学习却达到了100%;图(b&#