Ensenble集成算法-Bagging,boosting,随机森林

概述

集成学习是指将若干弱分类器组合之后产生一个强分类器。

每个弱分类器的训练样本、特征选择和权重都不一样，最终结果由弱分类器的结果投票产生。

由于各个弱分类器之间具有差异性，因此集成算法可解决过拟合问题。同时还能减少偏差和方差，提高分类结果。

自助聚合算法Bagging

采用有放回的方式随机抽取部分样本训练弱分类器，重复K次。得到K个弱分类器。等权重投票。

随机森林RF

思想与随机森林类似，只是除了样本随机，特征也是随机的，每个分类器仅采用部分特征训练。

之所以叫森林，是因为每个弱分类器都是一棵决策树。合起来就是森林了。

正向激励算法boosting

boosting与上面不太一样，它的弱分类器不能并行训练，因为下一个分类器依赖上一个的分类结果。

训练时着重关注训练集中那些不容易区分的样本。

AdaBoost是一种常见的boosting算法。具体来说，算法会为每个训练样本赋予一个权值。每次用训练完的新分类器标注各个样本，若某个样本点已被分类正确，则将其权值降低；若样本点未被正确分类，则提高其权值。权值越高的样本在下一次训练中所占的比重越大，也就是说越难区分的样本在训练过程中会变得越来越重要。
整个迭代过程直到错误率足够小或达到一定次数为止。

上述过程说的是训练过程，上述训练过程会生成一个强分类器。但是这样的强分类器还是不能满足要求，检测时，adaboosting需要多个强分类器，然后以决策树的形式级联起来。

级联强分类器的策略是，将若干个强分类器由简单到复杂排列，希望经过训练使每个强分类器都有较高检测率，而误识率可以放低，比如几乎99%的人脸可以通过，但50%的非人脸也可以通过，这样如果有20个强分类器级联，那么他们的总识别率为0.99^20 98%，错误接受率也仅为0.5^20 0.0001%。这样的效果就可以满足现实的需要了。

AdaBoost训练出来的强分类器一般具有较小的误识率，但检测率并不很高，一般情况下，高检测率会导致高误识率，这是强分类阈值的划分导致的，要提高强分类器的检测率既要降低阈值，要降低强分类器的误识率就要提高阈值，这是个矛盾的事情。（个人补充：每个检测器不通过的误识率低就行，最终的准确度由多个检测器的级联来保证）

最后两段来自《浅析人脸检测之Haar分类器方法》。

比较

这一小节来自《Bagging-Adaboost-RF的粗糙理解》

过拟合问题

　　1）Bagging：不存在过拟合：因为它每个分类器都是独立的，训练数据不一样(行抽样)

　　2）Adaboost：存在过拟合：因为它总是关注分错了的样本

　　3) RF：不存在过拟合：因为每个分类器都是独立的，不但训练数据不同(行抽样)，而且特征也不一样（列抽样，类似于领域专家）

性能比较

　　1）Adaboost比Bagging准确率高，但存在过拟合

　　2）RF准确率和Adaboost差不多，但更具鲁棒性，不存在过拟合，对F值敏感【通常取log2d+1,一般F=1的效果很好】

一些类比

这些都是我胡诌的。

随机森林的思想和深度学习力为了避免过拟合所做的dropout很像。都是使用部分特征训练，然后最终合并投票产生结果。

boosting和训练中把分错数据加入训练集的做法很像，都是提高了易分错数据的权重，让模型跟多的拟合这些数据的情况。

参考资料

boosting和bagging算法学习

随机森林原理介绍与适用情况（综述篇）

Bagging-Adaboost-RF的粗糙理解

浅析人脸检测之Haar分类器方法