《机器学习》周志华(西瓜书)学习笔记 第八章 集成学习

机器学习 学习笔记4

总目录

第八章 集成学习

8.1 个体与集成

集成学习 (ensemble learning) 通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统(multi-classifier system) 、基于委员会的学习(committee-based learning) 等.

集成学习的一般结构:先产生一组"个体学习 器" (individual learner)，再用某种策略将它们结合起来。

• 同质集成：只包含同种类型的个体学习器，例如"决策树集成" 中全是决策树，“神经网络集成"中全是神经网络。

同质集成中的个体学习器亦称基学习器 .

相应的学习算法称为基学习算法。

• 异质集成：包含不同类型的个体学习器，例如同时包含决策树和神经网络，异质集成中的个体学习器由不同的学习算法生成。个体学习器一般不称为基学习器，常称为"组件学习器” 。

集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。这对弱学习器尤为明显。（弱学习器：泛化性能略优于随机猜想的学习器。）

虽然从理论上来说使用弱学习器集成足以获得好的性能，但在实践中出于种种考虑，例如希望使用较少的个体学习器，或是重用关于常见学习器的一些经验等，人们往往会使用比较强的学习器。要获得好的集成， 个体学习器应"好而不同”，即个体学习器要有一定的准确性。并且要有"多样性" ，即学习器间具有差异。

考虑二分类问题 y   ϵ   { − 1. + 1 } y\ \epsilon \ \{-1.+1\} y ϵ { −1.+1}，和真实函数 $f$， 假定基分类器的错误率为 $\epsilon$，即对每个基分类器 $h_i$，有：
$$P(h_i(\mathbf{x})≠f(\mathbf{x}))=ϵ$$

假设集成通过简单投票法结合 T 个基分类器，若有超过半数的基分类器正确， 则集成分类就正确:

$$H(\mathbf{x})=sign(\sum _{i=1}^T{h}_i($$