机器学习---集成学习----Adaboost

集成学习

集成学习

• 什么是集成学习
  • 弱学习和强学习
  • 集成学习有效的前提
  • 集成学习分类
• AdaBoost
•  AdaBoost算法流程
• AdaBoost通俗介绍

一、什么是集成学习

所谓集成学习简单理解就是指采用多个分类器对数据集进行预测，从而提高整体分类器的泛化能力。集成算法最主要的三类为Bagging、Boosting、Stacking

1.1 boosting（典型代表AdaBoost）

Boosting：用于分类，回归问题。从弱学习器开始加强，通过加权来进行训练。即一种迭代算法，通过不断使用一个弱学习器弥补前一个弱学习器的“不足”的过程，来串行地构造一个较强的学习器，这个强学习器能够使目标函数值足够小。Boosting是一种串行算法，具体代表有AdaBoost。

1.2 bagging（典型代表随机森林）

试。
        针对特征进行随机采样：random subspaces（bootstrap_features）；既针对样本，又针对特征进行随机采样：random patches。在集成思想中，Bagging的思想是每个分类器权重相同，即hard voting。此外，集成思想中的VoteClassifier中还有soft voting，即根据每个模型的预测的probablity计算，也叫加权平均

1.3 stacking

Stacking:聚合多个分类或回归模型，可分阶段来做。如第一阶段三个分类器对一个样本的预测结果分别为1，1， 0，则第二阶段用第一阶段预测的结果(分类问题中用的是预测为1或者0的概率)作为特征继续预测，从而得出最终结果(分类中根据预测出的概率判断是哪一个类)。
Stacking在sklearn中没有实现的方式，属于模型融合的方法，可以参考mlxtend库，有点像神经网络，因此经常发生过拟合。

 

二、Adaboost算法

AdaBoost，是英文”Adaptive Boosting”（自适应增强）的缩写，由Yoav Freund和Robert Schapire在1995年提出。

Adaboost是一种迭代算法，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率。其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。

算法根据每次训练集中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。

在具体实现上，最初令每个样本的权重都相等，对于第k次迭代操作，我们就根据这些权重来选取样本点，进而训练分类器。然后就根据这个分类器，来提高被它分错的的样本的权重，并降低被正确分类的样本权重。然后，权重更新过的样本集被用于训练下一个分类器。整个训练过程如此迭代地进行下去。
 

2.1Adaboost的算法流程

 

2.2通俗易懂的原理介绍

Adaboost算法基本原理就是将多个弱分类器（弱分类器一般选用单层决策树）进行合理的结合，使其成为一个强分类器。

Adaboost采用迭代的思想，每次迭代只训练一个弱分类器，训练好的弱分类器将参与下一次迭代的使用。也就是说，在第N次迭代中，一共就有N个弱分类器，其中N-1个是以前训练好的，其各种参数都不再改变，本次训练第N个分类器。其中弱分类器的关系是第N个弱分类器更可能分对前N-1个弱分类器没分对的数据，最终分类输出要看这N个分类器的综合效果。

Adaboost算法基本原理就是将多个弱分类器（弱分类器一般选用单层决策树）进行合理的结合，使其成为一个强分类器。

弱分类器（单层决策树）

Adaboost一般使用单层决策树作为其弱分类器。单层决策树是决策树的最简化版本，只有一个决策点，也就是说，如果训练数据有多维特征，单层决策树也只能选择其中一维特征来做决策，并且还有一个关键点，决策的阈值也需要考虑。

​

关于单层决策树的决策点，来看几个例子。比如特征只有一个维度时，可以以小于7的分为一类，标记为+1，大于（等于）7的分为另一类，标记为-1。当然也可以以13作为决策点，决策方向是大于13的分为+1类，小于（等于）13的分为-1类。在单层决策树中，一共只有一个决策点，所以下图的两个决策点不能同时选取。

 同样的道理，当特征有两个维度时，可以以纵坐标7作为决策点，决策方向是小于7分为+1类，大于（等于）7分类-1类。当然还可以以横坐标13作为决策点，决策方向是大于13的分为+1类，小于13的分为-1类。在单层决策树中，一共只有一个决策点，所以下图的两个决策点不能同时选取。

扩展到三维、四维、N维都是一样，在单层决策树中，一共只有一个决策点，所以只能在其中一个维度中选择一个合适的决策阈值作为决策点。 

关于Adaboost的两种权重

Adaboost算法中有两种权重，一种是数据的权重，另一种是弱分类器的权重。其中，数据的权重主要用于弱分类器寻找其分类误差最小的决策点，找到之后用这个最小误差计算出该弱分类器的权重（发言权），分类器权重越大说明该弱分类器在最终决策时拥有更大的发言权。

Adaboost数据权重与弱分类器

刚刚已经介绍了单层决策树的原理，这里有一个问题，如果训练数据保持不变，那么在数据的某个特定维度上单层决策树找到的最佳决策点每一次必然都是一样的，为什么呢？因为单层决策树是把所有可能的决策点都找了一遍然后选择了最好的，如果训练数据不变，那么每次找到的最好的点当然都是同一个点了。

所以，这里Adaboost数据权重就派上用场了，所谓“数据的权重主要用于弱分类器寻找其分类误差最小的点”，其实，在单层决策树计算误差时，Adaboost要求其乘上权重，即计算带权重的误差。

举个例子，在以前没有权重时（其实是平局权重时），一共10个点时，对应每个点的权重都是0.1，分错1个，错误率就加0.1；分错3个，错误率就是0.3。现在，每个点的权重不一样了，还是10个点，权重依次是[0.01,0.01,0.01,0.01,0.01,0.01, 0.01,0.01,0.01,0.91]，如果分错了第1一个点，那么错误率是0.01，如果分错了第3个点，那么错误率是0.01，要是分错了最后一个点，那么错误率就是0.91。这样，在选择决策点的时候自然是要尽量把权重大的点（本例中是最后一个点）分对才能降低误差率。由此可见，权重分布影响着单层决策树决策点的选择，权重大的点得到更多的关注，权重小的点得到更少的关注。

在Adaboost算法中，每训练完一个弱分类器都就会调整权重，上一轮训练中被误分类的点的权重会增加，在本轮训练中，由于权重影响，本轮的弱分类器将更有可能把上一轮的误分类点分对，如果还是没有分对，那么分错的点的权重将继续增加，下一个弱分类器将更加关注这个点，尽量将其分对。

这样，达到“你分不对的我来分”，下一个分类器主要关注上一个分类器没分对的点，每个分类器都各有侧重。
 

Adaboost分类器的权重

由于Adaboost中若干个分类器的关系是第N个分类器更可能分对第N-1个分类器没分对的数据，而不能保证以前分对的数据也能同时分对。所以在Adaboost中，每个弱分类器都有各自最关注的点，每个弱分类器都只关注整个数据集的中一部分数据，所以它们必然是共同组合在一起才能发挥出作用。所以最终投票表决时，需要根据弱分类器的权重来进行加权投票，权重大小是根据弱分类器的分类错误率计算得出的，总的规律就是弱分类器错误率越低，其权重就越高。
 

图解Adaboost分类器结构

如图所示为Adaboost分类器的整体结构。从右到左，可见最终的求和与符号函数，再看到左边求和之前，图中的虚线表示不同轮次的迭代效果，第1次迭代时，只有第1行的结构，第2次迭代时，包括第1行与第2行的结构，每次迭代增加一行结构，图下方的“云”表示不断迭代结构的省略。

第i轮迭代要做这么几件事：
>新增弱分类器WeakClassifier(i)与弱分类器权重alpha(i)

>通过数据集data与数据权重W(i)训练弱分类器WeakClassifier(i)，并得出其分类错误率，以此计算 出其弱分类器权重alpha(i)

>通过加权投票表决的方法，让所有弱分类器进行加权投票表决的方法得到最终预测输出，计算最终分类错误率，如果最终错误率低于设定阈值（比如5%），那么迭代结束；如果最终错误率高于设定阈值，那么更新数据权重得到W(i+1)

图解Adaboost加权表决结果

关于最终的加权投票表决，举几个例子：
比如在一维特征时，经过3次迭代，并且知道每次迭代后的弱分类器的决策点与发言权，看看如何实现加权投票表决的。

 如图所示，3次迭代后得到了3个决策点，
最左边的决策点是小于（等于）7的分为+1类，大于7的分为-1类，且分类器的权重为0.5；
中间的决策点是大于（等于）13的分为+1类，小于13分为-1类，权重0.3；
最右边的决策点是小于（等于19）的分为+1类，大于19分为-1类，权重0.4。
对于最左边的弱分类器，它的投票表示，小于（等于）7的区域得0.5，大与7得-0.5，同理对于中间的分类器，它的投票表示大于（等于）13的为0.3，小于13分为-0.3，最右边的投票结果为小于（等于19）的为0.4，大于19分为-0.4，如下图：

 求和可得：

 最后进行符号函数转化即可得到最终分类结果：

更加直观的，来看一个更复杂的例子。对于二维也是一样，刚好有一个实例可以分析一下，原始数据分布如下图： 

 Adaboost分类器试图把两类数据分开，运行一下程序，显示出决策点，如下图：

 这样一看，似乎是分开了，不过具体参数是怎样呢？查看程序的输出，可以得到如其决策点与弱分类器权重，在图中标记出来如下：

 图中被分成了6分区域，每个区域对应的类别就是：
1号：sign(-0.998277+0.874600-0.608198)=-1
2号：sign(+0.998277+0.874600-0.608198)=+1
3号：sign(+0.998277+0.874600+0.608198)=+1
4号：sign(-0.998277-0.874600-0.608198)=-1
5号：sign(+0.998277-0.874600-0.608198)=-1
6号：sign(+0.998277-0.874600+0.608198)=+1
其中sign(x)是符号函数，正数返回1负数返回-1。
最终得到如下效果：

总结

理解Adaboost的两种权重的关系是理解Adaboost算法的关键所在。