机器学习：为什么梯度方向是函数值增加最快的方向？

这可以说是机器学习中一个最基础的问题，曾一度困扰我。查过很多次，每次都感觉自己懂了但又很快忘记，于是决定花一些时间把这个问题的答案整理在这里。

本文主要参考：
知乎-姚远：梯度的方向为什么是函数值增加最快的方向？

作者已经写得非常清晰，我这里主要是择其重点进行摘录，以供自己日后参考。在此对作者表示感谢！

多元函数的偏导数

多元函数的偏导数就是函数在一点处沿着某一坐标轴方向的变化率。

以二元函数$z=f(x,y)$为例：

• 当自变量 $y$ 固定在 $y_0$，函数关于自变量 $x$ 在 $x_0$ 处的变化率称为函数在点 $(x_0,y_0)$ 处对 $x$ 的偏导数，记作 $f_x(x_0,y_0)$。
• 当自变量 $x$ 固定在 $x_0$，函数关于自变量 $y$ 在 $y_0$ 处的变化率称为函数在点 $(x_0,y_0)$ 处对 $y$ 的偏导数，记作 $f_y(x_0,y_0)$。

多元函数的方向导数

多元函数的图像是一个曲面。因为过曲面上一点可以作出无数条切线，所以函数在一点也具有无数个变化率。

偏导数仅仅描述了函数在一点处沿着某一坐标轴方向的变化率。为了求出函数沿任一方向的变化率，我们需要按照变化率的定义，即函数的增量与自变量沿着某一方向增量比值的极限。

仍以二元函数$z=f(x,y)$为例：
假设某一方向的单位向量为 ${\mathbf{e}}_l=(cos\alpha ,sin\alpha )$ ，$\alpha$ 为此向量与x轴正向夹角。显然根据 $\alpha$ 的不同，此向量可以表示任意方向的单位向量。

当点 $(x_0,y_0)$ 沿着该方向产生一个增量 $t$ 到达点 $(x_0+tcos\alpha ,y_0+tsin\alpha )$时，函数 $z$ 也会产生一个增量 $\Delta z=f(x_0+tcos\alpha ,y_0+tsin\alpha )-f(x_0,y_0)$。

此时，函数沿此方向的变化率为：
$$\underset{t\to 0^{+}}{\lim }\frac{f\left(x_0+t\cos \alpha ,y_0+t\sin \alpha \right)-f\left(x_0,y_0\right)}{t}=f_x\left(x_0,y_0\right)\cos \alpha +f_y\left(x_0,y_0\right)\sin \alpha$$

多元函数的梯度

上面我们已经求得函数沿某一方向的变化率为 $f_x\left(x_0,y_0\right)\cos \alpha +f_y\left(x_0,y_0\right)\sin \alpha$，下面我们只需求 $\alpha$ 取何值时上式达到最大值。

由于上式可以看成两个向量的内积，令 $\mathbf{g}=\left(f_x\left(x_0,y_0\right),f_y\left(x_0,y_0\right)\right)$，${\mathbf{e}}_l=(cos\alpha ,sin\alpha )$，则：

$$f_x\left(x_0,y_0\right)\cos \alpha +f_y\left(x_0,y_0\right)\sin \alpha =\mathbf{g}\cdot {\mathbf{e}}_l=|\mathbf{g}|\left|{\mathbf{e}}_l\right|\cos \theta =|\mathbf{g}|\cos \theta$$
其中 $\theta$ 为 $\mathbf{g}$ 和 ${\mathbf{e}}_l$ 的夹角。

根据上式，可得出如下结论：

• 当 $\theta =0$ 时，即 $\mathbf{g}$ 和 ${\mathbf{e}}_l$ 方向相同时，函数变化率最大，且在点 $(x_0,y_0)$ 处呈上升趋势；
• 当 $\theta =\pi$ 时，即 $\mathbf{g}$ 和 ${\mathbf{e}}_l$ 方向相反时，函数变化率最大，且在点 $(x_0,y_0)$ 处呈下降趋势。

由于向量 $\mathbf{g}=\left(f_x\left(x_0,y_0\right),f_y\left(x_0,y_0\right)\right)$ 的方向为函数值增加最快的方向，为便于表述，人们为其取了一个名字—梯度。

换言之，多元函数在某一点的梯度是一个非常特殊的向量，其由多元函数对每个变量的偏导数组成，其方向为函数在该点增加最快的方向，大小为函数在该点的最大变化率。