Boosting算法概念解析

Boosting是一族可将弱学习器提升为强学习器的算法，这族算法的工作机制类似：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多的关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。 根据所给算法描述，好像只能同质 集成。

百度百科的介绍：

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这 

Adaboost

些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。 其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器 。使用adaboost分类器可以排除一些不必要的训练数据特征，并放在关键的训练数据上面。

Boosting族算法中最著名的代表是AdaBoost

   这就是Adaboost的结构，最后的分类器YM是由数个弱分类器（weak classifier）组合而成的,相当于最后m个弱分类器来投票决定分类，而且每个弱分类器的“话语权”α不一样。

这里阐述下算法的具体过程：

         1.初始化所有训练样例的权重为1 / N,其中N是样例数

         2.for m=1,……M:

               a).训练弱分类器ym()，使其最小化权重误差函数（weighted error function）：

               b)接下来计算该弱分类器的话语权α：

                                                                 

 

                c)更新权重：

                                       

 

         3.得到最后 的分类器：

                                         

算法：

看的云里雾里的有木有，反正我是，但是我们又大牛给出了详细的例子，我都看懂了。哈哈

下面我们举一个简单的例子来看看adaboost的实现过程：

  图中，“+”和“-”分别表示两种类别，在这个过程中，我们使用水平或者垂直的直线作为分类器，来进行分类。

　　第一步：

 根据分类的正确率，得到一个新的样本分布D_2?，一个子分类器h₁

　　其中划圈的样本表示被分错的。在右边的途中，比较大的“+”表示对该样本做了加权。

　　第二步：

根据分类的正确率，得到一个新的样本分布D₃，一个子分类器h₂

　　第三步：

 得到一个子分类器h₃

　　整合所有子分类器：

 因此可以得到整合的结果，从结果中看，即使简单的分类器，组合起来也能获得很好的分类效果，在例子中所有的。

　　Adaboost算法的某些特性是非常好的，在我们的报告中，主要介绍adaboost的两个特性。一是训练的错误率上界，随着迭代次数的增加，会逐渐下降；二是adaboost算法即使训练次数很多，也不会出现过拟合的问题。

总结

　　最后，我们可以总结下adaboost算法的一些实际可以使用的场景：

　　1）用于二分类或多分类的应用场景

　　2）用于做分类任务的baseline

　　无脑化，简单，不会overfitting，不用调分类器

　　3）用于特征选择（feature selection)

　　4）Boosting框架用于对badcase的修正

　　只需要增加新的分类器，不需要变动原有分类器

　　由于adaboost算法是一种实现简单，应用也很简单的算法。Adaboost算法通过组合弱分类器而得到强分类器，同时具有分类错误率上界随着训练增加而稳定下降，不会过拟合等的性质，应该说是一种很适合于在各种分类场景下应用的算法。