导数、偏导数、方向导数和梯度的基本介绍

由于误差反向传播算法中采用梯度下降算法进行权重更新，因此需要先明白梯度是什么，而梯度的解释又要从导数讲起，因此本文先大致讲解一下导数导数、偏导数、方向导数和梯度的物理意义。

1、导数

根据我们以前的学习，导数的几何意义表示该点的切线，如果从其物理意义来看，导数表示在自变量变化趋于无穷小的时候，函数值的变化与自变量变化的比值，即变化率。
如果函数中只有一个自变量（即一元函数），那么表示只存在一个方向的变化率。


问题：如果函数具有两个自变量，那我们怎么去确定其变化率？这时候需要引入偏导数。

2、偏导数

如果函数具有两个自变量，那么其图形是空间直角坐标系Oxyz中的曲面，假设表达式如下：

对于该曲面上的任意一个点而言，存在无数个方向的变化率。如果要表示沿着坐标轴两个方向的变化率，就采用偏导数表示，具体地，如果是函数值要沿着x轴的方向的变化率，对x求偏导，此时函数在y方向不变(即将y视为常数)。如果是函数值要沿着y轴的方向的变化率，对y求偏导，此时函数在x方向不变(即将x视为常数)。下图直观展示了曲面函数（橙色）、函数在y=y0平面上的曲线函数（绿色）和函数在x=x0平面的曲线函数（蓝色）。

下面展示一下相对于y轴的求偏导的定义

函数在点（x0,y0）对x和y求偏导，如式（3）和式（4），

3、方向导数

上述除了坐标轴方向的变化率，还有很多方向的变化率，对于任意方向的变化率我们称为方向导数。

4、梯度

方向导数中取到最大值的方向就是梯度的方向，梯度的值是方向导数的最大值。因此梯度是一个矢量，其方向上的方向导数最大，其大小正好是此最大方向导数。

总结

导数：函数在曲线上某点的变化率；
偏导数：函数在x和y坐标轴方向上某点的变化率；
方向导数：函数在某点沿任意方向的变化率；
梯度：方向导数变化率最大的矢量；

更多文章，还可关注公众号“小黄有点忙”。