机器学习 梯度到底是什么?

    梯度，到底是什么？很容易混淆。

    站在山底，哪个方向爬坡最快，这个容易想象，但问题是，如果所在的高度是我们优化的目标的话，这个爬坡的方向并不是梯度的方向，这个是我们的目标值(函数值)的变化趋势。

    我们先看一下定义：    

    即：梯度是一个向量，而向量就有方向，该方向是方向导数取得最大值的方向，那方向导数是什么？

    可见：

1. 方向导数是一个数
2. 方向指的是函数定义域的内点变化的方向

    综上，自变量沿着该方向变化，使函数值变化最大，机器学习中，函数值就是我们的优化目标。当函数值是损失函数值的时候，我们期望的是最小值，这个时候取梯度的反方向，即梯度下降即可。这就是为什么我们经常看到，理解梯度，先画等高线示意图的原因，投影到地面的等高线，其实就是自变量的定义域，也就是机器学习中的参数空间，我们需要知道，怎么更新参数，才能让损失函数值最快地减小。

      好，那现在的问题是梯度到底是哪个方向？也就是，自变量到底沿哪个方向变化，函数值变化最快。注意看右边的等高线，假设有一个点A，无限放大等高线：

如上图，也就是说，垂直于切线即法向量的方向，就是变化最快的方向，也就是梯度的方向。法向量的定义如下：

总结一下，梯度是个向量，自变量沿着该向量的方向变化，函数值变化最快。在机器学习中，为使损失函数下降最快，我们需要让模型参数沿着梯度的负方向更新，即梯度下降。