集成学习

集成学习

通过将多个弱分类器集成在一起，使它们共同完成学习任务，构建一个强分类器。

理论基础

在PAC学习框架中，一个概念，如果存在一个多项式的学习算法能够学习它，学习的正确率略好，那么就称这个概念是弱可学习的。
Schapire证明强可学习和弱可学习是等价的，也就是说，在PAC学习框架下，一个概念强可学习的充分必要条件是这个概念是弱可学习的。

两类集成方法
Bagging(bootstrap aggregating)
Boosting(提升方法)

Bagging:基于数据随机重抽样的分类器构建方法
1.利用bootstrap方法从整体数据集中采取有效放回抽样得到N个数据集
2.在每个数据集上学习出一个模型
3.利用N个模型的输出投票得到最后的预测结果

Boosting(Adaptive Boosting的简称）基于错误提升分类器性能，通过集中关注被已有分类器分类错误的样本，构建新分类器。
1.初始的分布应为等概分布
2.每次循环后提升错误样本的分布概率，分错的样本在训练集中所占权重增大，使得下一次循环的基分类器权重越低

集成学习：严格来说，这不算是一种机器学习算法，而更像是一种优化手段或者策略，它通常是结合多个简单的弱机器学习算法，去做更可靠的决策，类似于开会做决策。

Bagging与Boosting都采用 采样-学习-组合的方式，不同在于：Bagging中每个训练集互不相关，也就是每个基分类器互不相关，而Boosting中训练集要在上一轮的结果上进行调查。
Bagging中预测函数是均匀平等的，但在Boosting中预测函数是加权的。

优点：当前最先进的预测几乎都使用了算法集成，它比使用单个模型预测出来的结果要精确的多。
缺点：需要大量维护工作

代表算法：随机森林，Adboost。