梯度与梯度上升｜下降法

这是一个我一直没有弄透彻的概念，特地整理总结一下，希望在这个过程中思路得以拓展。

在引入梯度的概念之前，先介绍一下以下几个概念：导数，偏导数，方向导数。

1. 导数

导数的定义如下:
$$f^{\prime }(x_0)=li{m}_{\Delta x\to 0}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$
表示的是函数$f(x)$在某一点$x_0$沿着$x$轴正方向的变化率/变化趋势。当$f^{\prime }(x_0)$>0时，说明$f(x)$的函数值在$x_0$点沿x轴正方向是趋于增加的，反之，则是趋于减少的。

2.偏导数

偏导数与导数类似，是指一个多变量的函数，关于其中一个变量的导数，而其他变量保持不变。

三变量函数$f(x,y,z)$的偏导数的定义如下：
$$\frac{\partial f(x_0,y_0,z_0)}{\partial y}=li{m}_{\Delta y\to 0}\frac{f(x_0,y_0+\Delta y,z_0)-f(x_0,y_0,z_0)}{\Delta y}$$

表示的是三变量函数 f ( x , y , z ) f(x,y,z)