学习笔记 6-GDBT

ML 学习笔记 6-GDBT - 1

最近在看关于XGboost的内容。其中非常喜欢作为面试题的内容就是XGboost和GDBT的比较。因此需要先看看GDBT。李航的书里面的GDBT的内容细节不是很多，因此还是找找GDBT的出处。

读完之后还是很有收获的。

梯度下降与最速下降

• 什么是最速下降（Steepest Descent）？和梯度下降法是一个东西吗？

有关 GDBT 的文章，都会提到说 GDBT 是通过最速下降法来优化的。实际上，最速下降法就是梯度下降法，这个可以参数 wikipedia 中的解释

Gradient descent is also known as steepest descent

从参数的梯度下降到函数的梯度下降

关于参数的梯度下降

这一个就是我们经常在用的梯度下降法，假设损失函数为$L(y,F(x)))$ 。如果这个函数 $F(x)$ 是参数是，那么就可以表示为 $F(x;\theta )$

算法：关于参数的梯度下降

我们通过梯度下降的方法优化这个参数。

1. step1: 给定一个参数的初始值，${\theta }_0$

2. step2: 对于 $m=1,\dots ,M$ ，更新参数

   1. 计算负梯度 $g_m$

   $$g_m=-\mathbb{E}[{\nabla }_{\theta }L(Y,F(x)){|}_{\theta ={\theta }_{m-1}}|x]$$

   2. 计算最优的学习率 ${\eta }_m$
      有一点需要注意的是，这里的梯度下降的学习率 $\eta$ 不是固定的，而是和当前的梯度 $g_m$ 是有关的。这个和我们在深度学习中常见的 sgd 有点小区别。${\eta }_m$ 由下面的式子确定

   $${\eta }_m=\arg \underset{\eta }{\min }\mathbb{E}[L(Y,F(X,{\theta }_{m-1}+\eta g_m))]$$

   3. 更新 ${\theta }_m$

   $${\theta }_m={\theta }_{m-1}+{\eta }_m{g}_m$$

   3. 最后得到的参数 $\theta$ 的估计

$$\hat{\theta }={\theta }_M={\theta }_0+{\eta }_1{g}_1+{\eta }_2{g}_2+\cdots +{\eta }_M{g}_M$$

上面的推导是总体版本的，而要得到经验版本只需要将取期望 $\mathbb{E}$ 改成对样本求平均 $\frac{1}{N}{\sum }_{i=1}^N$ 就可以了

关于函数的梯度下降

上面是 $F(x)$ 是参数模型的情形。如果 $F(x)$ 是非参数模型，就不能用上面的方式来求了。不过还是有解决方法的。

对于 $F(x)$ 是参数模型的情况，如果固定一个 x，则 $F(x)$ 是固定的，因此可以看做是一个“参数”。通过这种方式，我们可以将一个非参数模型 $F(x)$ 看做有许多个参数 $F(x)$ ，其中 $x\in domF$ 。

我们希望最小化的是 $\mathbb{E}L(Y,F(x)))$ ，注意这里的期望是对联合分布 $(X,Y)$ 取期望。而当固定 $X=x$ 时，联合分布也就变成了条件分布，即我们固定 $x$ 后，希望最小化的函数变成了

$$\mathbb{E}[L(Y,F(x))|x]\text{\hspace{1em}(1)}$$

注意，这里的期望 $\mathbb{E}[\cdot |x]$ 表示的是对 $Y|X=x$ 取的期望 ，即在 $X=x$ 的条件下对 $Y$ 求期望。

因此，我们可以继续使用梯度下降法来优化上面的条件期望

算法：关于函数的梯度下降

1. 确定初始的 $F_0(x)$ ，这里使用一个最优的常数来初始化 ，即

$$F_0(x)=\arg \underset{c}{\min }\mathbb{E}[L(Y,c)|x]$$

2. 对于 $m=1,\dots ,M$ ，进行下面的优化

   1. 计算负梯度 $g_m(x)$
      $$g_m(x)=-\mathbb{E}[{\nabla }_{F(x)}L(Y,F(x)){|}_{F(x)=F_{m-1}(x)}|x]$$

   2. 计算最优学习率 ${\eta }_m$

   $${\eta }_m=\arg \underset{\eta }{\min }\mathbb{E}[L(Y,F_{m-1}(x)+\eta g_m(x))|x]$$

   3. 更新 $F_m(x)$

   $$F_m(x)=F_{m-1}$$