为什么函数下降最快的方向是负梯度方向

假设我们站在山坡上，想知道怎么下山最快，有一种方法就是在每次下坡都走下坡最快的一步，也就是每一步都走斜率最大的方向，这种方法即为梯度下降法。

山坡图如下：

我们用函数$z=f(x,y)$表示山坡，建立三维坐标系，通过一步步推导，找到斜率最大的方向。

• 方向导数
  假设下山的方向为$u$，$p(x_0,y_0)$为$z$定义域上的一个点，单位向量$u=cos\theta i+sin\theta j$，其中$\theta$为方向$u$与$x$轴正向的夹角，如下图所示：
  
  类比导数的定义，我们可以得到$u$方向的斜率：
  $$D_{u}f=\underset{t\to 0}{\lim }\frac{f(x_0+tcos\theta ,y_0+tsin\theta )-f(x_0,y_0)}{t}$$
  记为$f$沿$u$方向的方向导数。随着$\theta$的不同，我们可以求出任意方向的方向导数。
  方向导数还可以通过偏微分来表示：$$D_{u}f=f_x(x,y_0)cos\theta +f_y(x_0,y)sin\theta$$假设$\vec{A}=(f_x(x,y_0),f_y(x_0,y))$，$\vec{I}=(cos\theta ,sin\theta )$，则可得：
  $$D_{u}f=\vec{A}\cdot \vec{I}=\left|\vec{A}\right|\ast \left|\vec{I}\right|cos\alpha$$其中$\alpha$为向量$\vec{A}$与向量$\vec{I}$的夹角。

• 梯度
  函数增大最快的方向，即为导数最大的方向，反之，函数减小最快的方向即为导数最小的方向。
  
  根据
  $$D_{u}f=\vec{A}\cdot \vec{I}=\left|\vec{A}\right|\ast \left|\vec{I}\right|cos\alpha$$当$D_{u}f$取最大值时，$\alpha$为0，向量$\vec{A}$与向量$\vec{I}$同向，此时函数在这个方向的增加最快。
  当$D_{u}f$取最小值时，$\alpha$为$\pi$，向量$\vec{A}$与向量$\vec{I}$犯向，此时函数在这个方向的减小最快。
  
  向量$\vec{A}$在点$p(x_0,y_0)$有固定方向，向量$\vec{I}$不断变化，因此我们定义向量$\vec{A}$的方向为梯度方向。

通过以上推导，我们可以知道，梯度的反方向是函数下降最快的方向。

参考自知乎