梯度和方向导数的理解

“曾经跳过去的问题，总有一天会回来找你。”
参考：https://www.cnblogs.com/key1994/p/11503840.html
简而言之：

1. 方向导数代表下山的不同方向，但是与梯度关联时，是按某个（x0,y0）点来联系的。
2. 函数在某点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致，而它的模为方向导数的最大值。
   用自己的话有逻辑地去理解：
   下山路上每个点都有很多方向，即每个点在不同方向L上都有一个方向导数的值。而方向导数取最大的那个方向L，就是梯度的方向。梯度是一个矢量，它的大小可以根据向量的长度公式（x,y方向的“斜率”的平方和再开方）来求。
   原文引用：
   我们想要走到山下，道路有千万条，但总有一条可以让我们以最快的速度下山。当然，这里的最快速度仅仅作用在当前的位置点上，也就是说在当前位置A我们选择一个方向往山下走，走了一步之后到达了另外一个位置B，然后我们在B位置计算梯度方向，并沿该方向到达位置处c，重复这个过程一直到终点。但是，如果我们把走的每一步连接起来构成下山的完整路线，这条路线可能并不是下山的最快最优路线。

原因是什么？可以用一句古诗来解释：“不识庐山真面目，只缘身在此山中。”因为我们在山上的时候是不知道山的具体形状的，因此无法找到一条全局最优路线。那我们只能关注脚下的路，将每一步走好，这就是梯度下降法的原理。