通过学习周志华老师的机器学习一书,对集成学习做一些笔记。
集成学习(ensemble learning)是通过构建并结合多个学习器来完成学习任务的,因此有写文章中也称其为多分类器系统(multi-classifier system)或者是委员会学习(committee-based learning)。
下图是集成学习的一般结构,将一组“个体学习器”(individual learner)用一些何理的策略结合起来,这些个体学习器可以是各种弱分类器,例如决策树算法,BP神经网络等。若所有的个体学习器是同种类型的,则称这样的集成是“同质”的(homogeneous),此时的学习器也可以称作是“基学习器”(base learner),相应的学习算法则为“基学习算法”(base learning algorithm).若集成中的个体学习器包含不同的学习器,则称这样的集成为“异质”的(heterogenous),此时的个体学习器则被称为是“组件学习器”(component learner)也可以被直接称为个体学习器。
弱学习器:指泛化性能略优于随机猜测的学习器;例如在二分类问题中精确度略高于50%的分类器。
集成学习的很多研究都是针对弱学习器进行的&#x