从零开始深度学习 T2. Gradient Descent

上一篇文章中介绍了回归分析，其中提到了求解最优参数的梯度下降法(Gradient Descent)，这篇文章中，我们将针对Gradient Descent进行展开说明。
如图，Gradient Descent是沿着Loss function的等高线的法线方向更新参数的

Gradient Descent的原理十分简单，但是在实际操作过程中可能会遇到一些问题，对此有一些针对性的tips。关于梯度下降优化更详细的内容，请参照这篇 译文

Tip 1: Tuning your learning rates

回顾Gradient Descent的参数更新过程：

$$\theta \leftarrow \theta - \eta\nabla L$$
$\eta$代表参数更新的速度，当参数更新过快时，很可能跳过极值点，为此可以在参数更新的过程中不断调整参数的更新速度，在参数接近极值点的时候，使参数更新的慢一点。
步长调整方式有以下几种：

Vanilla Gradient descent

$$g^t = \frac{\partial L(\theta^t)}{\partial w}$$
$$\eta^t = \frac{\eta}{\sqrt{t+1}}$$
$$w^{t+1}\leftarrow w^t -\eta^tg^t$$
从Vanilla Gradient descent的公式中，我们可以看出，随着参数的更新，步长 $\eta^t$越来越小，这比较符合直觉，因为随着参数的更新，参数很可能越来越接近极值点，此时我们需要更加小心的更新参数。

Adagrad

Adagrad可以表示为如下公式：

$$gt = \frac{\partial L(\theta^t)}{\partial w}$$
$$w^{t+1}\leftarrow w^t - \frac{\eta}{\sqrt{\sum_{i=0}^t{(g^i)^2}}}g^t$$
Adagrad与Vanilla Gradient descent的不同点在于，Adagrad多考虑了一种情况：当某时刻某方向的梯度 $g^t$非常大时， $\eta^tg^t$也会非常大，此时参数更新仍然会“迈出一个大步子”，这也可能使我们错过极值点。Adagrad公式中的 $\sqrt{\sum_{i=0}^t{(g^i)^2}}$避免了这种情况。

Tip 2: Stochastic Gradient Descent

之前提到的Gradient Descent在每一次参数更新时，都要计算全体数据集在新的参数下的Loss，当数据集很大的时候，这会造成巨大的计算开销。Stochastic Gradient Descent是解决该问题的一种技术手段，在Stochastic Gradient Descent的每一次迭代中，会随机采样$(x, y)$，并只针对$(x, y)$计算Loss以及梯度。这可以大大加快training的速度(不过在training的过程中，也会引入一些噪音)。

Tip 3: Feature Scaling

不同的feature可能有不同的大小范围，如果没有对feature进行任何预处理，某些波动范围很大的feature在参数更新过程中就可能占据主导作用，从而使参数更新过程走很多弯路。如下图所示，当feature $x_1$ 的范围远远小于 feature $x_2$时，$w_2$对$y$的影响就远远大于$w_1$，这就造成了梯度线呈椭圆形，此时法线方向并不指向椭圆中心，于是进行参数更新的时候，就不是朝着最低点更新了。

feature scaling处理起来非常简便，只需对输入参数进行如下处理即可：

$$x_i^r \leftarrow \frac{x_i^r - m_i}{\sigma_i}$$
其中 $m_i$为training集中feature $x_i$的平均数， $\sigma_i$为training集中feature $x_i$的方差。

Warning Limitation of Gradient Descent

Gradient Descent进行参数更新的依据是每个参数的偏微分，因此当参数的偏微分很小的时候，参数更新会很慢，甚至停止。下图中出现的情况需要引起我们的注意：

至于怎么解决这些问题呢？我们会在以后的博客中进行介绍。