【VJ算法】VJ算法 之 Adaboost

1、Adaboost 算法简介

• AdaBoost （Adaptive Boosting）：自适应增强
• 由 Yoav Freund和Robert Schapire在1995年在《A decision-theoretic generalization of on-line learning and an application to boosting》一文中提出

---

2、Adaboost 算法图示

1）Adaboost 训练过程框架图示

训练结束，我们得到了：

• 从n个弱分类器中挑选出了 $t$ 个基分类器
• 这 $t$ 个基分类器，具有顺序性
• 每个基分类器，有对应的权重

强分类器的使用
强分类器的预测结果是 “基分类器的预测结果” 与 “基分类器的权重” 的加权和，根据加权和结果的符号决定强分类器的最终结果是 -1 还是 1 （**样本的二分类 label 记为 -1 或 1）

• 加权和小于0， 强分类器的最终预测结果为 -1
• 加权和大于0， 强分类器的最终预测结果为1

模型优化方向
假设一开始我们的计划是挑选出10个基分类器组成一个强分类器。在完成这10个基分类器的挑选，并且获得他们的权重之后，我们在测试数据集上（或者验证数集上）进行测试，发现效果并不理想，那么接下来的优化方向有2个：
（1）优化弱分类器，然后重新挑选基分类器
（2）继续增加基分类器，比如之前只挑选了5个基分类器，那你可以加到8个，或10个

---

看完这部分之后，带着问题去看第4部分-算法说明 & 细节解读，有任何问题也欢迎评论区留言。

3、Adaboost 算法步骤

符号定义

$D$ ：样本集权重，$D_t(i)$ 表示第t次更新后，第$i$个样本的权重值
$h_j$ ：弱分类器，（一共有 $n$ 个弱分类器，$j$表示第$j$个分类器），$h_j(x_i)$ 表示 弱分类器$j$ 对于样本 $x_i$ 的预测结果，值为 -1 或 1
$H$ ：基分类器，（通过计算，从所有 $n$ 个分类器中选择出的一个弱分类器，叫做基分类器。 $H_t(x_i)$ 表示基分类器 $t$ 对于样本 $x_i$ 的预测结果，值为 -1 或 1
$H_{final}$ ：最终的强分类器
$e$ ：误分率, 计算公式为 $e={\sum }_{i=1}^N{w}_i|h_j(x_i)-y_i|$
${\alpha }_t$ ：弱分类器的权重

step 1：初始化训练数据的权重$w_1$。

训练集有 $N$个样本，每个样本 $x_i$ 都有自己的权重值 $w_i$
首次需要初始化样本的权重值，
每个样本的权重值初始化为： $w_i=\frac{1}{N}$
训练样本集权重为：$D_1=(w_1,w_2,...,w_N)=(\frac{1}{N},\frac{1}{N},...,\frac{1}{N})$

• $D$ 的下标 “1 ” 表示第1次更新样本集权重值，因为样本集的权重值后续会更新

step 2：进行迭代 $t=1,...,T$

• 用提前训练好的n个弱分类器，分别对训练数据进行预测，得到这n个弱分类器的误差率。
  选择误分率最小的一个做为第 $t$ 个基分类器。
  误分率的计算公式为： $$e=\sum _{i=1}^N{w}_i|h_j(x_i)-y_i|$$
  由上述式子可知，误分类率就是被 弱分类器$h_i$ (或者 基分类器 $H_t$) 误分类样本的权重之和

• 计算基分类器的权重 ${\alpha }_t$
  $${\alpha }_t=\frac{1}{2}ln(\frac{1-e_t}{e_t})$$

• 基于基分类器，更新训练集的权重 D： $$D_{t+1}(i)=\frac{D_t(i)\cdot exp(-{\alpha }_t{y}_i{H}_t(x_i))}{Z_t}$$
  也可以写成每个样本的更新形式： $$w_{t+1}(i)=\frac{w_t(i)\cdot exp(-{\alpha }_t{y}_i{H}_t(x_i))}{Z_t}$$
  其中，归一化常数 $Z_t=2\sqrt{e_t(1-e_t)}$ ； $H_t(x_i)$为基分类器的预测值，值为 -1 或 1
  具体训练思想是：如果某个训练样本点$x_i$，被基分类器$h_i$准确地分类，它对应的权值要减小；相反，如果被错误分类，它的权值就应该增大。权值更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去。

step 3：最后，将得到的 $t$个 基分类器组合成一个强分类器。

• 强分类器的分类结果 = ${\sum }_{t=1}^T{\alpha }_t{H}_t(x)$, where ${\alpha }_t=\frac{1}{2}ln(\frac{1-e_t}{e_t})$

• 观察各个基分类器的权重 ${\alpha }_t=\frac{1}{2}ln(\frac{1-e_t}{e_t})$，会发现，误分率小的基分类器对最终结果起较大的决定作用，而误分率大的基分类器在最终的结果中起着较小的决定作用。

---

4、算法说明 & 细节解读：

1、弱分类器可以是任意的分类器模型，需是提前训练好的分类器。比如说，可以是决策树分类器，阈值分类器，等等。n个弱分类器可以是多种不同的分类器，唯一的要求是他们输出的结果是相同的格式。

2、算法中涉及两个权重：

• 样本权重：
• 基分类器权重

3、怎么确定T 的值？
根据实际情况调试而定。假如你一开始将 T 设为了5， 结果训练完发现效果还不错，满足需求了，那么T就是5。假如你觉得效果不太好，差点意思，而且手上还有没有用上的弱分类器，那你就继续往模型里面加，那 T 的值也就增加。

---

5、AdaBoost 算法使用实例

大家请参考这篇文章的实例子： 点击查看

---

Reference：

• 参考文章1

• 参考文章2

• 参考文章3