数据挖掘学习——集成学习（classifier combination）

目录

1.集成学习基本思路

2.集成学习模型结合策略

（1）平均法&加权平均法（集成回归模型的结合策略）

（2）相对多数投票法&加权投票法（集成分类模型的结合策略）

 3.Bagging方法和随机森林

（1）Bagging方法

 （2）随机森林（random forest）

4.Boosting方法和Adaboost

（1）Boosting方法

（2）Adaboost方法

5.集成学习python实现

---

1.集成学习基本思路

集成学习（classifier combination）是将多个数据挖掘模型（基模型，base classifier）集成在一起进行学习。多个基模型对数据集进行学习，并分别输出结果，然后集成学习模型再通过一定的方法将这些结果进行整合，最终形成集成学习模型的结果。

2.集成学习模型结合策略

（1）平均法&加权平均法（集成回归模型的结合策略）

简单平均法：

 加权平均法：

（相比于简单平均法，增加了权重系数参数，更容易出现过拟合）

 实际使用过程中发现，加权平均法的结果有时还不如简单平均。

（2）相对多数投票法&加权投票法（集成分类模型的结合策略）

相对多数投票法：

获得最多票数的类别为集成模型的输出类别（若有多个类别获得相同的最高票，则随机从这些类别中选取一个作为最终的输出。）