集成学习之Adaboost 算法及相关参数公式推导

集成学习

什么是集成学习？
集成学习就是将多个学习器通过各类方法集成起来，从而获得更好的学习效果的一种学习方式。

一般来说，集成学习分为两种

• 同质集成
      该集成中仅仅包含同种类型的学习器
• 异质继承
      该集成中包含不同类型的学习器

现在一般都使用同质集成的方式，常用的方法又可以分为两类

• 序列化方法
      个体学习器之间存在强依赖关系，必须串行生成，代表算法有Boosting
• 并行化方法
      个体学习器之间不存在强依赖关系，可以同时生成，代表算法有Bagging和Random Forest

---

Boosting

这里主要讲Adaboost，所以先简单说一下Boosting

在前文中提过，boosting属于序列化方法，及各个学习器之间存在强依赖关系，需要串行生成。具体的生成流程可以看下图

• $D(i)$ 是为了让之前普通学习器中分类错误的样本在下一个学习器中多受重视
• $m$ 为样本数量
• $T$ 为提前设定的普通学习器数量，当训练到第 $T$ 个学习器时就停止训练

那么从图中可以看出，一个完整的Boosting学习过程需要解决4个问题

• $loss$ 的计算方式
• $\alpha$ 的获取方式
• $D$ 的更新方式
• 合并策略的选择

接下来将详细讲述Adaboost针对以上四个问题的解决方法。

---

Adaboost

符号&参数&其他需要提前说明的东西

符号	详细	表示
$T$	$T=(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$	训练集
$m$	-	样本数量
$D(k)$	$D(k)=(w_{k_1},w_{k_2},...,w_{k_m})$	第$k$个学习器对应的样本权重
$w_{k_i}$	$w_{1_i}=\frac{1}{m}$	第$i$个样本在第$k$个学习器中对应的权重，初始化时大家权重相同
$loss(k)$	-	第$k$个学习器的加权误差
${\alpha }_k$	-	第$k$个学习器的权重系数
$Z_k$	-	规范化因子
$G_k(x)$	-	第$k$个普通学习器
$K$	-	一共有 $K$ 个普通学习器
$f(x)$	-	总学习器

---

Adaboost解决分类问题

这里以二分类为例，那我们需要的输出就是 { − 1 , 1 } \{-1, 1\} { −1,1}
先把最后的参数结果列出来

对于第 $k$ 个分类器 $G_k(x)$ 在训练集 $T$ 上的参数

• 加权误差 $loss(k)$
  $$\begin{array}{rl}loss(k)& =P(G_k(x_i)\ne y_i)\\ & =\sum _{i=1}^m{w}_{k,i}I(G_k(x_i)\ne y_i)\end{array}$$
      其中 $I$ 是单位矩阵
• 权重系数 ${\alpha }_k$
  $${\alpha }_k=\frac{1}{2}\log \frac{1-loss(k)}{loss(k)}$$
       $loss(k)$ 越大，该分类器 $G_k(x)$ 的权重系数越小
• 样本权重 $w_{k+1,i}$
  $$\begin{array}{rl}{w}_{k+1,i}& =\frac{w_{k,i}}{Z_k}\\ Z_k& \end{array}$$