小白学习机器学习---第七章：集成学习

1.个体与集成

    集成学习（ensemble learning）通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统（multi-classifiersystem）。

       集成学习的一般结构：先产生一组“个体学习器（individual learner）”，再用种策略将他们结合起来。个体学习器通常由一个现有的学习算法从训练数据产生，如C4.5决策树算法，BP神经网络算法等。此时集成中只包含同种类型的个体学习器，如“决策树集成”中全是决策树，“神经网络集成”中全是神经网络，这样的集成是“同质（homogeneous）”的。同质集成中的个体学习器称为“基学习器(base learner)”，相应的学习算法称为“基学习算法(base learning algorithm)”。集成也可以包含不同类型的个体学习器，如同时包含决策树和神经网络，这样的集成是“异质(heterogenous)”的。相应的，个体学习器一般不称为基学习器，称为“组件学习器（component learner）”或直接称为个体学习器。

2.集成方法

        集成方法（ensemblemethod）通过组合多个基分类器（base classifier）来完成学习任务，颇有点“三个臭皮匠顶个诸葛亮”的意味。基分类器一般采用的是弱可学习（weaklylearnable）分类器，通过集成方法，组合成一个强可学习（stronglylearnable）分类器。所谓弱可学习，是指学习的正确率仅略优于随机猜测的多项式学习算法；强可学习指正确率较高的多项式学习算法。集成学习的泛化能力一般比单一的基分类器要好，这是因为大部分基分类器都分类错误的概率远低于单一基分类器的。

       根据个体学习器的生成方式，目前的集成学习方法大致可分为两类，即个体学习器之间存在强依赖关系、必须串行生成的序列化方法，以及个体学习器之间不存在强依赖关系、可同时生成的并行化方法，前者的代表是Boosting，后者的代表是Bagging和“随机森林（Random Forest）”  。    Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法，即将弱分类器组装成强分类器的方法。