[深度学习]为什么梯度反方向是函数值下降最快的方向？

1. 版本一用泰勒公式展开式解释

1.1. 什么是梯度？

对于梯度下降算法（Gradient Descent Algorithm），我们都已经很熟悉了。无论是在线性回归（Linear Regression）、逻辑回归（Logistic Regression）还是神经网络（Neural Network）等等，都会用到梯度下降算法。我们先来看一下梯度下降算法的直观解释：

假设我们位于黄山的某个山腰处，山势连绵不绝，不知道怎么下山。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易下山的方向前进一小步，然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去，一直走到觉得我们已经到了山脚。这里的下山最陡的方向就是梯度的负方向。

首先理解什么是梯度？通俗来说，梯度就是表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在当前位置的导数。

$$\nabla =\frac{df(\theta )}{d\theta }$$

上式中，θ是自变量，f(θ)是关于θ的函数，θ表示梯度。

1.2 梯度下降算法

如果函数f(θ)是凸函数，那么就可以使用梯度下降算法进行优化。梯度下降算法的公式我们已经很熟悉了：
$$\theta ={\theta }_0-\eta \cdot \nabla f({\theta }_0)$$
其中，θ0θ0是自变量参数，即下山位置坐标，ηη是学习因子，即下山每次前进的一小步（步进长度），θθ是更新后的θ0θ0，即下山移动一小步之后的位置。

梯度下降算法的公式非常简单！但是”沿着梯度的反方向（坡度最陡）“是我们日常经验得到的，其本质的原因到底是什么呢？为什么局部下降最快的方向就是梯度的负方向呢？也许很多朋友还不太清楚。没关系，接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程

1.3 一阶泰勒展开式

这里需要一点数学基础，对泰勒展开式有些了解。简单地来说，泰勒展开式利用的就是函数的局部线性近似这个概念。我们以一阶泰勒展开式为例：
$$f(\theta )\approx f(\theta 0)+(\theta -{\theta }_0)\cdot \nabla f({\theta }_0)$$

附上高数书上的泰勒展开式

不懂上面的公式？没有关系。我用下面这张图来解释。

凸函数$f(\theta )$的某一小段$[{\theta }_0,\theta ]$由上图黑色曲线表示，可以利用线性近似的思想求出f(θ)f(θ)的值，如上图红色直线。该直线的斜率等于$f(\theta )$在${\theta }_0$处的导数。则根据直线方程，很容易得到$f(\theta )$的近似表达式为：

$$f(\theta )\approx f({\theta }_0)+(\theta -{\theta }_0)\cdot \nabla f({\theta }_0)$$
这就是一阶泰勒展开式的推导过程，主要利用的数学思想就是曲线函数的线性拟合近似。

1.4 梯度下降数学原理

知道了一阶泰勒展开式之后，接下来就是重点了！我们来看一下梯度下降算法是如何推导的。

先写出一阶泰勒展开式的表达式：
$$f(\theta )\approx f({\theta }_0)+(\theta -{\theta }_0)\cdot \nabla f({\theta }_0)$$
其中，$\theta -{\theta }_0$是微小矢量，它的大小就是我们之前讲的步进长度η，类比于下山过程中每次前进的一小步，η为标量，而$\theta -{\theta }_0$的单位向量用vv表示。则$\theta -{\theta }_0$可表示为
$$\theta -{\theta }_0=\eta v$$

特别需要注意的是，$\theta -{\theta }_0$不能太大，因为太大的话，线性近似就不够准确，一阶泰勒近似也不成立了。替换之后，f(θ)的表达式为：
$$f(\theta )\approx f({\theta }_0)+\eta v\cdot \nabla f({\theta }_0)$$
重点来了，局部下降的目的是希望每次θ更新，都能让函数值f(θ)变小。也就是说，上式中，我们希望$f(\theta )<f({\theta }_0)$。则有：

$$f(\theta )-f({\theta }_0)\approx \eta v\cdot \nabla f({\theta }_0)<0$$
因为η为标量，且一般设定为正值，所以可以忽略，不等式变成了：
$$v\cdot \nabla f({\theta }_0)<0$$

上面这个不等式非常重要！v和$\nabla f({\theta }_0)$都是向量，$\nabla f({\theta }_0)$是当前位置的梯度方向，v表示下一步前进的单位向量，是需要我们求解的，有了它，就能根据$\theta -{\theta }_0=\eta v$确定θθ值了。

想要两个向量的乘积小于零，我们先来看一下两个向量乘积包含哪几种情况：

A和B均为向量，α为两个向量之间的夹角。A和B的乘积为：
$$A\cdot B=||A||\cdot ||B||\cdot cos(\alpha )$$
||A||和||B||均为标量，在||A||和||B||确定的情况下，只要cos(α)=−1，即AA和BB完全反向，就能让A和B的向量乘积最小（负最大值）。
顾名思义，当v与$\nabla f({\theta }_0)$互为反向，即v为当前梯度方向的负方向的时候，能让$v\cdot \nabla f({\theta }_0)$最大程度地小，也就保证了v的方向是局部下降最快的方向。

知道v是$\nabla f(\theta 0)$的反方向后，可直接得到：

$$v=\frac{-\nabla f({\theta }_0)}{||\nabla f({\theta }_0)||}$$

之所以要除以$\nabla f({\theta }_0)$的模$||\nabla f({\theta }_0)||$，是因为v是单位向量。

求出最优解v之后，带入到$\theta -{\theta }_0=\eta v$中，得：

$$\theta ={\theta }_0-\eta \frac{\nabla f({\theta }_0)}{||\nabla f({\theta }_0)||}$$
一般地，因为$||\nabla f({\theta }_0)||$是标量，可以并入到步进因子η中，即简化为：
$$\theta ={\theta }_0-\eta \nabla f({\theta }_0)$$

这样，我们就推导得到了梯度下降算法中θ的更新表达式。

1.5总结

我们通过一阶泰勒展开式，利用线性近似和向量相乘最小化的思想搞懂了梯度下降算法的数学原理。也许你之前很熟悉梯度下降算法，但也许对它的推导过程并不清楚。看了本文，你是否有所收获呢

2.版本二用方向导数解释

2.1 导数

导数的几何意义可能很多人都比较熟悉: 当函数定义域和取值都在实数域中的时候，导数可以表示函数曲线上的切线斜率。 除了切线的斜率，导数还表示函数在该点的变化率
将上面的公式转化为下面图像为：

（来自维基百科）

直白的来说，导数代表了在自变量变化趋于无穷小的时候，函数值的变化与自变量变化的比值代表了导数，几何意义有该点的切线。物理意义有该时刻的（瞬时）变化率…

注意在一元函数中，只有一个自变量变动，也就是说只存在一个方向的变化率，这也就是为什么一元函数没有偏导数的原因。

注意在一元函数中，只有一个自变量变动，也就是说只存在一个方向的变化率，这也就是为什么一元函数没有偏导数的原因。

2.2. 偏导数

既然谈到偏导数，那就至少涉及到两个自变量，以两个自变量为例，z=f(x,y) . 从导数到偏导数，也就是从曲线来到了曲面. 曲线上的一点，其切线只有一条。但是曲面的一点，切线有无数条。

而我们所说的偏导数就是指的是多元函数沿坐标轴的变化率.

$F_x(x,y)$ 指的是函数在y方向不变，函数值沿着x轴方向的变化率

$F_y(x,y)$指的是函数在x方向不变，函数值沿着y轴方向的变化率

对应的图像形象表达如下：

那么偏导数对应的几何意义是是什么呢？

偏导数[$f_x(x_0,y_0)$就是曲面被平面$y=y_0$所截得的曲面在点$M_0$处的切线$M_0{T}_x$对x轴的斜率
偏导数$f_y(x_0,y_0)$就是曲面被平面$y=x_0$所截得的曲面在点$M_0$处的切线$M_0{T}_y$对y轴的斜率

可能到这里，读者就已经发现偏导数的局限性了，原来我们学到的偏导数指的是多元函数沿坐标轴的变化率，但是我们往往很多时候要考虑多元函数沿任意方向的变化率，那么就引出了方向导数.

2.3 方向导数

终于引出我们的重头戏了，方向导数，下面我们慢慢来走进它

假设你站在山坡上，相知道山坡的坡度（倾斜度）

山坡图如下：

假设山坡表示为$z=f(x,y)$,你应该已经会做主要俩个方向的斜率.

y方向的斜率可以对y偏微分得到.

同样的，x方向的斜率也可以对x偏微分得到

那么我们可以使用这俩个偏微分来求出任何方向的斜率（类似于一个平面的所有向量可以用俩个基向量来表示一样）

现在我们有这个需求，想求出u方向的斜率怎么办.假设$z=f(x,y)$为一个曲面，,$p(x_0,y_0)$为f定义域中一个点，单位向量$u=\cos \theta i-\sin \theta j$的斜率，其中$\theta$是此向量与x轴正向夹角.单位向量u可以表示对任何方向导数的方向.如下图：

那么我们来考虑如何求出u方向的斜率，可以类比于前面导数定义，得出如下

设$f(x,y)$为一个二元函数，$u=\cos \theta i-\sin \theta j$为一个单位向量，如果下列的极限值存在

则称这个极限值是 $f$ 沿着[公式 $u$ 的方向导数，那么随着$\theta$ 的不同，我们可以求出任意方向的方向导数.这也表明了方向导数的用处，是为了给我们考虑函数对任意方向的变化率.

在求方向导数的时候，除了用上面的定义法求之外，我们还可以用偏微分来简化我们的计算.
表达式是：

（至于为什么成立，很多资料有，不是这里讨论的重点）

那么一个平面上无数个方向，函数沿哪个方向变化率最大呢？

目前我不管梯度的事，我先把表达式写出来：

那么我们可以得到：

那么此时如果$D_{u}f(x,y)$要取得最大值，也就是当$a$为0度的时候，也就是向量$I$（这个方向是一直在变，在寻找一个函数变化最快的方向）与向量$A$（这个方向当点固定下来的时候，它就是固定的）平行的时候，方向导数最大.方向导数最大，也就是单位步伐，函数值朝这个反向变化最快.

好了，现在我们已经找到函数值下降最快的方向了，这个方向就是和$A$向量相同的方向.那么此时我把A向量命名为梯度（当一个点确定后，梯度方向是确定的），也就是说明了为什么梯度方向是函数变化率最大的方向了！！！（因为本来就是把这个函数变化最大的方向命名为梯度）

我的理解是，本来梯度就不是横空出世的，当我们有了这个需求（要求一个方向，此方向函数值变化最大），得到了一个方向，然后这个方向有了意义，我们给了它一个名称，叫做梯度

另加两张方向导数的图