Coursera - 机器学习技法 - 课程笔记 - Week 11

Gradient Boosting Decision Tree

AdaBoost Decision Tree

• 将AdaBoost应用到DT：对数据加权，对加权数据学习$\mathrm{DTree}(\mathcal{D},{\mathbf{u}}^t)$
• 不像AdaBoost那样将算法进行加权修改？
  • 调整数据在数据集中出现的比例——按权重比例采样得到${\tilde{\mathcal{D}}}_t$
• 对于完全生成决策树，往往对于既有数据，所有数据不同，$E_{in}=0$
  • 投票系数如果按照${\alpha }_t=\sqrt{\frac{1-{ϵ}_t}{{ϵ}_t}}$，会得到无穷大系数
  • 需要对DT进行剪枝——限制树的高度
  • 基于部分数据而非全部数据——采样过程已经实现
  • 一个特例：树限制为1层（纯度由分类损失）——AdaBoost-Stump

Optimization of AdaBoost

• 权重变更：$u_n^{(t+1)}=u_n^{(t)}\cdot m_t^{-y_n{g}_t({\mathbf{x}}_n)}=u_n^{(t)}\cdot \exp (-y_n{\alpha }_t{g}_t({\mathbf{x}}_n))$
• $T$次训练整合：

$$u_n^{(t+1)}=u_n^{(t)}\cdot \prod _{t=1}^T\exp (-y_n{\alpha }_t{g}_t({\mathbf{x}}_n))=\frac{1}{N}\exp (-y_n\sum _{t=1}^T{\alpha }_t{g}_t({\mathbf{x}}_n))$$

• 最终的$G({\mathbf{x}}_n)=\mathrm{sign}({\sum }_t{\alpha }_t{g}_t({\mathbf{x}}_n))$
  • 括号内称之为投票分数
• 类比SVM，投票分数乘上$y_n$，表示符号和非归一化的间隔
  • 我们希望间隔越来越大
  • 那么权重更新的指数项就会更小
  • 因此整体权重就会更小——${\sum }_n{u}_N^{(t)}$越来越小
• AdaBoost的最小化目标函数：

$$\sum _{n=1}^N{u}_n^{(t+1)}=\frac{1}{N}\sum _{n=1}^N\exp (-y_n\sum _{t=1}^T{\alpha }_t{g}_t({\mathbf{x}}_n))$$

• 令$s={\sum }_t{\alpha }_t{g}_t({\mathbf{x}}_n)$，那么上式的$er{r}_{ADA}=\exp (-ys)$称为指数loss，为0/1 loss的上界——做好AdaBoost可以想办法把0/1 loss做的好
• 梯度下降优化：找到一个“方向”$g_t$（下述中的$h$），以优化：

$$\underset{h}{\min }{\hat{E}}_{ADA}=\frac{1}{N}\sum _{n=1}^N\exp \left(-y_n\left(\sum _{\tau =1}^{t-1}{\alpha }_{\tau }{g}_{\tau }({\mathbf{x}}_n)+\eta h({\mathbf{x}}_n)\right)\right)$$

• 带入上述的权重更新公式以及泰勒展开得到近似结果：

$$\underset{h}{\min }{\hat{E}}_{ADA}\approx \sum _{n=1}^N{u}_n^{(t)}-\eta \sum _{n=1}^N{u}_n^{(t)}{y}_{n}h({\mathbf{x}}_n)$$

• 最小化目标（后一项）：

$$\underset{h}{\min }\sum _{n=1}^N{u}_n^{(t)}{y}_{n}h({\mathbf{x}}_n)$$

• 对二分类任务，$h(\mathbf{x})$取值为 { − 1 , + 1 } \{-1, +1\} {−1,+1}，因此有（后一项省去了样本数$N$）：

$$\sum _{n=1}^N{u}_n^{(t)}{y}_{n}h({\mathbf{x}}_n)=-\sum _n{u}_n^{(t)}+2E_{in}^{u^{(t)}}(h)$$

• 从AdaBoost的算法中找出的好的$g_t$，也就对应着GD优化中的$h$
• AdaBoost找到最理想的$g_t$之后，是否可以最大化$\eta$？（系数）
  • 最优化的${\eta }_t$相比于固定的$\eta$是贪婪地更快的
  • 正例$u_n^{(t)}\exp (-\eta )$
  • 反例$u_n^{(t)}\exp (+\eta )$
• 改进目标：

$${\hat{E}}_{ADA}=\left(\sum _{n=1}^N{u}_n^{(t)}\right)\cdot \left((1-{ϵ}_t)\exp (-\eta )+{ϵ}_t\exp (+\eta )\right)$$

• 上式对$\eta$求导，得到最优${\eta }_y=\ln \sqrt{\frac{1-{ϵ}_t}{{ϵ}_t}}={\alpha }_t$

• AdaBoost：函数近似梯度的最大下降

Gradient Boosting

• 梯度下降角度的AdaBoost的形式化（二元输出假设函数）：

$$\underset{\eta }{\min }\underset{h}{\min }\frac{1}{N}\sum _{n=1}^N\exp \left(-y_n\left(\sum _{\tau =1}^{t-1}{\alpha }_{\tau }{g}_{\tau }({\mathbf{x}}_n)+\eta h({\mathbf{x}}_n)\right)\right)$$

• 通用化梯度Boost：

$$\underset{\eta }{\min }\underset{h}{\min }\frac{1}{N}\sum _{n=1}^N\mathrm{err}\left(\sum _{\tau =1}^{t-1}{\alpha }_{\tau }{g}_{\tau }({\mathbf{x}}_n)+\eta h({\mathbf{x}}_n),y_n\right)$$

• 上式中，$h$可以改进为任意的假设函数，通常为实值输出函数

• 回归任务：$err(s,y)=(s-y{)}^2$

  • 泰勒展开后近似：${\min }_{h}constant+\frac{\eta }{N}{\sum }_{n}2h({\mathbf{x}}_n)(s_n-y_n)$
  • $h$的幅度由$\eta$控制
  • 避免够大的幅度，引入惩罚项：${\min }_{h}constant+\frac{\eta }{N}{\sum }_n(2h({\mathbf{x}}_n)(s_n-y_n)+h({\mathbf{x}}_n){)}^2$
  • 化简：${\min }_{h}constant+\frac{\eta }{N}{\sum }_n(constant+(h({\mathbf{x}}_n)-(y_n-s_n)){)}^2)$
  • 目标，新的$h$要尽可能拟合现有的残差，即在 { x n , y n − s n } \{ \bold x_n, y_n - s_n\} {xn​,yn​−sn​}上的回归

• 探索$\eta$：$\min \frac{1}{N}{\sum }_n(s_n+\eta g_t({\mathbf{x}}_n)-y_n{)}^2$

  • 进一步化简：$\min \frac{1}{N}{\sum }_n((y_n-s_n)-\eta g_t({\mathbf{x}}_n){)}^2$
  • 另外一个单变量线性回归回归，在 { g t   i n p u t , r e s i d u a l } \{g_t \ input, residual\} {gt​ input,residual}上的回归

• 总结：GBDT，每一次迭代

  • 由回归算法完成对 { x n , y n − s n } \{ \bold x_n, y_n - s_n\} {xn​,yn​−sn​}的最小平方误差回归（初始化分数为0）
    • 这里需要考虑对数据的采样和CART的剪枝
  • 计算系数${\alpha }_t$，通过对 { g t ( x n ) , y n − s n } \{ g_t(\bold x_n), y_n - s_n \} {gt​(xn​),yn​−sn​}的先行回归获得
  • 更新分数的计算规则$s_n\leftarrow s_n+{\alpha }_t{g}_t({\mathbf{x}}_n)$
  • 迭代结束，返回最终的$G$

Summary of Aggregation

• 强大的$G$可解解决单个分类器欠拟合的问题
• 适当的$G$也可以缓解过拟合的问题