机器学习 算法基础 六 提升 Adaboost

• 什么是Adaboost?
  AdaBoost算法: 通过迭代弱分类器而产生最终的强分类器的算法，可以理解为在弱分类器之上增加了权重配置，使误差率小的分类器拥有更高的权重。

我们已经学习过决策树这种分类器，并且知道可以通过随机森林的方式完成样本加权、分类器加权，从而使得由弱分类器得到强分类器。Adaboost就是分类器加权的一种方式，即多个分类器的集成。

提升概念

提升算法

• 预测值：$F(x_i)$，实际值：$y_i$，二者差值就是一个残差
• 将所有残差累加：
  $$当L(F)=\frac{1}{m}\sum _{i=1}^m(F(x_i)-y_i{)}^2$$
  $$\frac{\partial L}{\partial F}=\frac{2}{m}\sum _{1=i}^m(F(x_i)-y_i)$$
• 实际的损失函数不见得是这个，所以称为伪残差

参照牛顿法（梯度下降法）可知，使用一阶导绕不过去的$\gamma$学习率。

树	1	2	3	…	t-1
T	$$T_1(x)$$	$$T_2(x)$$	$$T_3(x)$$	…	$$T_{t-1}(x)$$
权值	$${\alpha }_1$$	$${\alpha }_2$$	$${\alpha }_3$$	…	$${\alpha }_{t-1}$$

计算第i个样本的预测值$y_i$，输入样本$x_i$：
$x_i⟶{\alpha }_1{T}_1(x_i)+{\alpha }_2{T}_2(x_i)+{\alpha }_3{T}_3(x_i)+...+{\alpha }_{t-1}{T}_{t-1}(x_i)={\hat{y}}_i$

样本	预测值
$x^{(1)}$	${\hat{y}}_{t-1}^{(1)}$
$x^{(2)}$	${\hat{y}}_{t-1}^{(2)}$
$x^{(3)}$	${\hat{y}}_{t-1}^{(3)}$
…	…
$x^{(m)}$	${\hat{y}}_{t-1}^{(m)}$

在已知样本和预测值$T(t-1),{\hat{y}}_{(t-1)}$的前提下，如何算$T(x)和{\alpha }_t$。考虑使用二阶导信息。

$$\frac{\partial J}{\partial f_t}=\sum _{i=1}^n(g_i+h_i{f}_t(x_i))+\frac{\partial \Omega }{\partial f_t}$$

Adaboost

$通常e_m<0.5$，$e_m越小，{\alpha }_m越大。谁的误差率越小，谁的权值就越大。（e_m=0.5\to {\alpha }_m=0）$

有了$w_{m+1,i}$，就可以算$G_{m+1}$，就可以算$w_{m+2}$…

举例

Adaboost误差上限

AdaBoost总结