集成学习1

1.概念

俗话说：三个臭皮匠顶个诸葛亮。集成学习就是讲多个弱分类器，集成起来，比如对所有分类器结果求均值等方法。

上图来字“清华大学数据挖掘课程”，上面三个单个的分类器 集合起来后，得到下面的分类情况，分类结果比单个分类器要好，这是集成学习的特点。

2.集成学习分类

1）求均值

2）投票

      majority voting---random forest

      weighted majority voting---adaboost（即老板投的票要比普通员工投的票分量要重，给投票加上不同权重）

3）学习器的结合

      general combiner-----stacking

      piecewise combiner---region boost