机器学习笔记_ 提升

• 提升：每一步产生一个弱的预测模型(如决策树)，并加权到总的模型中
• 每一步弱模型的的生成都是依据损失函数的梯度下降方向—梯度提升

---

提升算法

• 给定输入向量和输出变量$(x_1,y_1)...(x_n,y_n)$, 目标是找到近似函数$F^{'}(\overrightarrow{x})$使得损失函数$L(y,F(x))$的损失值最小

• 最优函数
  $F^*(\overrightarrow{x})=arg \min\limits_{F}E_{(x,y)}[L(x,F(\overrightarrow{x})]$

• F(x)是一族基函数$f_i(x)的加权和$

  $F(\overrightarrow{x})=\Sigma_{i=1}^{M} \gamma_if_i(x)+const$

---

提升算法推导

• 需找最优解$F(x)$, 使得损失函数在训练集上的期望最小。

• 首先，给定常函数$F_0(x)$

  $F_0(\overrightarrow{x})=arg \min\limits_{\gamma} \Sigma_{i=1}^nL(y_i,\gamma)$

• 贪心算法

  $F_m(\overrightarrow{x})=F_{m-1}(\overrightarrow{x})+arg \min\limits_{f \in H}\Sigma_{i=1}^nL(y_i,F_{m-1}(\overrightarrow{x_i})+f(\overrightarrow{x_i}))$

---

梯度近似

• 使用梯度下降的方法近似计算

• 给定模型为常数
  $F_0(\overrightarrow{x})=arg \min\limits_{\gamma}\Sigma_{i=1}^{n}L(y_i,\gamma)$

• 对于m=1到M

  a 计算伪残差(用梯度来代替正真的残差：真正残差=$y_m-F_{m-1}(x)$)

  $r_{im}=[\frac{\partial L(y_i,F(\overrightarrow{x_i}))}{\partial F(\overrightarrow{x_i})}]_{F(\overrightarrow{x})=F_{m-1}(\overrightarrow{x})}$

  b 使用数据${(\overrightarrow{x_i},r_{im})}_{i=1}^n$计算残差的基函数$f_m(x)$

  c 计算步长

• 更新模型$F_m{(\overrightarrow{x})}=F_{m-1}(\overrightarrow{x})-r_mf_m(\overrightarrow{x_i})$

---

---

Adaboost

• 采用指数损失的方式提升

---

---

boosting

PAC

http://blog.pluskid.org/?p=821
http://www.cnblogs.com/HappyAngel/p/3495804.html

• 概率近似正确
• 一个概念如果存在一个多项式的学习算法能够学习它，并且正确率高，则为强可学习的。
• 一个概念如果存在一个多项式的学习算法能够学习它，并且正确率仅比随机猜测高，则为弱学习的。
• 在PAC学习框架下，强可学习和弱可学习是充分必要条件

---

Adaboost提升算法

• 每一轮如何改变训练数据的权值或者概率分布：提高错误分类的样本的权值
• 将弱分类器组合成强分类器：加权多数表决

算法

• 输入：训练集$T={(x_1,y_1),(x_2,y_2),...,(x_N,y_N)}$; $y \in {-1,+1}$;
  弱分类算法

• 输出：最终的分类器

  （1） 初始化训练数据集的权值分布

  $D_1=(w_{11},...w_{1i},...w_{1N}), w_{1i}=\frac{1}{N},i=1,2,...,N$

  (2) 对m=1,2,….M

  • $使用具有权值分布的D_m得到基本分类器$；$G_m(x): X->\{-1,+1\}$
  • $计算G_m(x)在训练集上的分类误差率$； $e_m=P(G_m(x_i) \neq yi)=\Sigma_{i=1}^{N}w_{mi}I(G_m(x_i) \neq y_i)$
  • $计算G_m(x)的系数$； $\alpha_m=\frac{1}{2}log\frac{1-e_m}{e_m}$
  • 更新训练数据的权值
    $D_{m+1}=(w_{m=1,1},...,w{m+i,i},...w_{m+1,N})$
    $w_{m+1,i}=\frac{w_{mi}}{Z_{m}}exp(-\alpha_my_iG_m(x_i))$
    $Z_m$是规范化因子
    $Z_m=\Sigma_{i=1}^{N}w_{mi}exp(-\alpha_my_iG_m(x_i))$

  (3) 基础分类器的线性组合

  $f(x=\Sigma_{m=1}^M\alpha_mG_m(x))$

  (4) 最终分类器

  $G(x)=sign(f(x))$

---

Adaboost

• 加法模型
• 损失函数为指数函数
• 学习算法是前向分布算法时的二分类算法