图像识别第十三课

集成算法的简介与分类

简介：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要不其中任何一个专家单独的判断好。

集成学习通过构建并结合多个学习器来完成学习任务等。

 

结合策略：

1.简单平均法

 

2.加权平均法

 

集成学习的结果通过投票法产生（少数服从多数）

 

集成算法的分类

根据个体学习器的生成方式，目前的集成学习方法大致可以分为两类：

①Bagging：个体学习器间不存在强依赖关系、可同时生成的并行化方法，代表为随机森林。

②Boosting：个体学习器间存在强依赖关系、必须串行生成的序列化方法，如Adaboost。

③Stacking：聚合多个分类或回归模型（可以分阶段来做）。

Bagging

训练多个分类器取平均

全称：bootstrap aggregation（并行训练一堆分类器）

预测输出时，通常对分类任务使用简单投票法，对回归任务使用简单平均法。

随机森林：

随机：数据采样随机：特征选择随机

森林：很多个决策树并行放一起

构造树模型：

由于二重随机性，使得每个树基本上都不会一样，最终的结果也会不一样。

优势：

①它能够处理很高维度（feature很多）的数据，并且不用做特征选择。

②在训练完后，它能够给出哪些feature比较重要。

③容易做成并行化方法，速度比较快。

④可以进行可视化展示，便于分析。

RandomForestClassifier()：随机森林分类算法

RandomForestRegressor()：随机森林回归算法

 -Boosting：从弱学习器开始加强，通过加权来进行训练。

典型代表：AdaBoost

Adaboost会根据前一次的分类效果调整数据权重。

解释：如果某一个数据在这次分错了，那么在下一次我就会给它更大的权重。

最终的结果：每个分类器根据自身的准确性来确定各自的权重，再合体。

Boosting.AdaBoost 

1. 初始化训练样本的权值分布，每个样本具有相同权重；

2. 训练弱分类器，如果样本分类正确，则在构造下一个训练集中，它的权值就会被降低；反之提高。

3.用更新过的样本集去训练下一个分类器；

4.将所有弱分类组合成强分类器，各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，降低分类误差率大的弱分类器的权重。

Stacking

堆叠：很暴力，拿来一堆直接上 （各种分类器都来了）。

可以堆叠各种各样的分类器 (KNN,SVM,RF等等）。

分阶段：第一阶段得出各自结果，第二阶段再用前一阶段结果训练。