为什么梯度方向一定是函数增大的方向？

前言

今年是很幸运的一年，准备了大半年的研究生终于考上了！但问题随着就来了，我选择的导师方向是深度学习有关的，我从前觉得这个东西十分的高大上，一直敬而远之，没想到今天自己也要参与进来成为它的从业者，还有一点小兴奋哈哈，但是不得不说，它确实很吃数学底子，今天就遇到一个问题，为什么梯度方向一定是沿着函数增大的方向？

一、一元函数的导数

导数这个概念想必大家也不陌生，对于一元导数f(x)来说，它只有一个变量x，只能对x求导，当f’(x)>0时，函数随着x的增加而变大，当f’(x)<0时，f(x)随着x的增大而变小。

二、偏导数

当一个函数由多个变量一同决定的时候，该函数就是我们说的多元函数，比如：z = f(x,y)
此时求导就应该是求偏导了，当它对x的偏导小于0时，代表沿着x轴方向，函数减小，反之增大。对y的偏导也是如此，就不再赘述。

三、梯度

一个多元函数的梯度就是这个函数对各个变量求偏导形成的向量：

我们首先要知道，它是一个向量，代表一个方向，并且是函数变化最大的方向，接下来在方向导数中我们会证明它一定是朝着函数增大的方向的。

四、方向导数

方向导数是一个标量，方向导数定义了点 （x,y) 处沿向量 v 方向变化时，对应的函数的瞬时变化率。

方向导数表达式：



(α为方向导数的方向与梯度方向的夹角)
从上面的式子可以推出来，沿着梯度方向的方向导数的值是最大的(就等于梯度的模)，并且大于0(因为梯度的模肯定是正数)，所以当函数沿着这个方向时一定是以最快速度递增的，也就证明了梯度就是函数值增大最快的方向。