一文让你理清导数、方向导数、梯度向量之间的关系~

参考文献：

https://arrow.blog.csdn.net/article/details/86583789?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-2.control

https://blog.csdn.net/blogshinelee/article/details/102668951?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-0&spm=1001.2101.3001.4242

https://blog.csdn.net/youhuakongzhi/article/details/80565176

最近在学习自适应滤波器的梯度下降法，发现对里面反复运用的梯度向量的理解并不是很深刻。看了几篇文章，尝试用自己的理解写了一下，在各位大佬的带领下，算是有一些领悟了。
本文从一元函数、多元函数的角度，去阐述其变化率的问题。旨在能够阐述对导数、方向导数、偏导数的理解。

函数是为描述两个或多个变量间变化的关系。以y=f（x）为例，x的变化将引起y的变化，当x变化了变化量Δx时，y变化了变化量Δy。当变化量很小，趋近于零时，称为瞬时变化量dx、dy。
导数描述了函数的变化率，即变化的剧烈程度。

一、 一元函数

一元函数的导数，为切线斜率。切线越陡峭，斜率越大。导数为正，函数随自变量的增大而增大。反之，随之减小。其梯度，即为一元函数的导数。
一元函数的导数与梯度，只有大小，没有方向，是标量。这是由于函数只有一个自变量，y只沿着自变量x坐标轴发生变化。导数越大，函数值随着自变量的变化越剧烈。
本质上，一元函数只涉及到函数值随一个自变量的变化而变化的情况，其导数、偏导、方向导数和梯度均是一个东西。

二、 多元函数

2.1 偏导数

多元函数的偏导数，是将多元函数“视作”一元函数求得的。例如，求解二元函数z=f（x，y）对y的偏导时，会将x视作常数。描述的是函数沿着自变量y坐标轴方向的变化率。

下面从几何层面阐述偏导数的物理意义。二元函数z=f（x，y）对应三维坐标系中的曲面。如下图所示，

是平面y=C（C为常数）与曲面z=f（x，y）两个面交线的导数（切线斜率），是函数沿着x坐标轴方向上的（方向）导数。

同理，z对y的偏导数是函数沿着y坐标轴方向的（方向）导数。

2.2 方向导数

自然而然的，上述z=f（x，y）可以沿x轴方向、y轴方向变化，是不是也可以沿着其它任意直线方向变化呢？答案是肯定的。而衡量函数沿着某一方向变化的快慢的物理量就是方向导数。

方向导数是，某一方向的垂直平面截线的斜率。而偏导数是，平行于x/y坐标轴的垂直平面的截线斜率。

如上图所示，在xy平面上，有一点P（a，b），红色的箭头为单位向量u（cosθ，sinθ）。给定了P点与向量u，相当于确定了自变量的初值与前进方向。
对于曲面z=f（x，y）上的点，由点（a，b，f（a，b））沿着单位向量u方向出发，设走了t个单位长度后到达点（a+tcosθ，b+tsinθ，f（a+tcosθ，b+tsinθ））。则，函数z在点（a，b）处，沿θ方向/沿单位向量u方向的方向导数为

其中，
为梯度向量，是偏导数组成的向量。由上可知，（1）方向导数是偏导数的线性组合，系数为
。（2）偏导数是沿坐标轴方向的方向导数。

2.3 梯度向量

接上继续推导，函数在点（a，b）处，沿θ方向的方向导数为

可以直观看出，当方向导数取最大值时，θ=0，方向导数沿梯度方向，值为 。当方向导数取最小值时，θ=pi，方向导数沿负梯度方向，值为
。
理解梯度向量，按照向量的方向和大小理解。梯度是由偏导数构成的向量，梯度向量的方向为方向导数取最大值的方向，大小为此时方向导数的大小。
举个例子来理解由偏导数组成的梯度向量的方向是变化率最大的方向。假设函数z=f（x，y），有一个人在曲面上的点P（x=a，y=b，z=c），想要选择一个最抖的方向上山，即要找方向导数最大值对应的方向。由于x，y自变量张成了一个二维平面，他可以选择xy平面上的任意方向。此时，将函数对x求偏导，可得一个值。对y求偏导，可得一个值。最终选择的梯度方向，即
的方向，是综合考虑了函数沿x方向和沿y方向的变化率的大小，对其进行加权得到的。根据平行四边形准则，若沿x方向的变化率大一些，则最终合成的方向会偏向x方向一些，若沿y方向变化率大，合成方向会偏向y方向一些。若沿x、y方向的变化率一致，则θ正好取45°。
梯度向量的一个重要特征是与等高线垂直。等高线，如其名所示，这条曲线上的函数值是相等的。推导如下：
设z=f（x，y）=C，为一条等高线。对其两边进行全微分，可得

即，梯度向量
与在曲线上的的微小变化量垂直，可理解为梯度向量垂直于等高线，指向函数上升最快的方向。

最后，总结一下：
（1） 导数都是为了衡量函数的变化快慢的。无论是偏导数、方向导数，均是如此。
（2） 对于多元函数，偏导数是函数沿自变量坐标轴方向的导数/方向导数，方向导数是函数沿某一方向的导数，偏导数的线性组合，系数为
。梯度向量是偏导数组成的向量，其方向是方向导数取得最值的方向，垂直于等高线，指向函数上升最快的方向，大小是方向导数的最大值。