为什么沿着梯度相反的方向更新参数

为什么说，沿着梯度相反的方向函数值下降最快

我们假设损失函数是$f(x)$，$x$就是神经网络的参数，我们的目的是最小化损失函数，也就是不断让$f(x)$减小。

那么根据高等数学中的泰勒公式，我们知道函数$f(x)$的一阶泰勒公式如下
$$f(x+\Delta x)=f(x)+f^{\prime }(x)\Delta x+o(\Delta x)$$

其中$f^{\prime }(x)$我们都知道是导数，在神经网络中，它就是梯度，因为$x$是很多的参数，所以$x$和$f^{\prime }(x)$都是向量。

我们的目的是让函数值减小，所以$f(x+\Delta x)$要小于$f(x)$。
那么根据上式我们知道，想要$f(x+\Delta x)<f(x)$只能有$f^{\prime }(x)\Delta x$小于0。

而$f^{\prime }(x)\Delta x$是两个向量在做内积相乘，我们又知道两个向量的内积公式如下：

$$f^{\prime }(x)\Delta x=\Vert f^{\prime }(x)\Vert \Vert \Delta x\Vert \cos \theta$$

显然$f^{\prime }(x)\Delta x$的取值范围是$[-{\Vert f^{\prime }(x)\Vert }^2,{\Vert f^{\prime }(x)\Vert }^2]$。(注意我这里说的不严谨，因为$\Delta x$的取值是任意的，我们姑且认为它不会大于$f^{\prime }(x)$)

也就是说当$\Delta x=f^{\prime }(x)$时，与梯度同方向，此时$\cos \theta =1$所以
$$f^{\prime }(x)\Delta x={\Vert f^{\prime }(x)\Vert }^2$$

那么我们也就知道了当$\Delta x=-f^{\prime }(x)$，与梯度相反方向的时候(因为都是向量，所以这个负号表示的就是反方向。)，此时$\cos \theta =-1$，所以
$$f^{\prime }(x)\Delta x=-{\Vert f^{\prime }(x)\Vert }^2$$

那么显然$f(x+\Delta x)=f(x)-{\Vert f^{\prime }(x)\Vert }^2$函数值下降的最多。
$f(x+\Delta x)=f(x)+{\Vert f^{\prime }(x)\Vert }^2$函数值上升的最多。

所以说沿着梯度的方向，函数值变化最快。

需要注意是，我们要引入步长，也就是$\Delta x=-\alpha f^{\prime }(x)$，也就是学习率，因为不能让函数值一下子变化太大。