为什么局部下降最快的方向就是梯度的负方向？

https://zhuanlan.zhihu.com/p/36503663

这篇讲解非常清晰！我比较好奇的不是为什么梯度方向函数是变化最快的。我想知道为什么梯度方向函数局部上升最快，而负梯度方向函数局部下降最快？找了很多资料，只有这篇比较好的讲清楚了我想知道的问题。

快速梳理：

1.写出一阶泰勒展开式，推导过程主要利用的数学思想就是曲线函数的线性拟合近似。

2.最核心的一步是：微小矢量变化 = , 表示要沿着方向v移动，v是我们要寻找的使得函数下降的方向，是个单位向量。是步长，大于0的标量。

3.将2代入1，移项，推导出：函数值微小变化= *  梯度向量 < 0 ，此时函数值是下降的。

4.当两个向量方向相反（180度）时  *  梯度向量 的向量内积最小，由于是负数，所以内积最小的时侯函数值微小变化的幅度最大，也就是说函数值下降幅度最大（负最大值）！可以求出v就等于负的梯度向量。

5.将v带回2，可以求出下一步的。将梯度的模合并到步长，就推导得到了梯度下降算法中 的更新表达式。