微积分 --- 偏导数，方向导数与梯度(二)

松下J27

已于 2024-06-26 17:31:08 修改

阅读量1.1k

点赞数 9

分类专栏： Calculus 文章标签：人工智能微积分偏导数梯度方向导数梯度下降深度学习

于 2024-05-06 22:50:54 首次发布

本文链接：https://blog.csdn.net/daduzimama/article/details/138498846

版权

Calculus 专栏收录该内容

7 篇文章 1 订阅

订阅专栏

方向导数（是一个标量）

上图为一温度图，所反映的是加利福利亚洲和内华达州在十月的一天下午三点的温度。其中，图中的每一点都是温度T关于x,y的函数，即T(x,y)。对于图中的Reno市而言，沿着x方向的偏导 $T_{x}$ 反映的是温度沿着x方向，即沿着东方的变化率。沿着y方向的偏导 $T_{y}$ 反映了温度沿着北方，即y方向的变化率。这些偏导数的求法在介绍偏导数的时候都已经知道了。但如果我现在要求图中一任意方向的变化率呢，也就是图中用红色“❓”标出来的方向的变化率？

这就好比是我在偏导数中所使用的酷热指数heat index表格中，我要求温度指数在某一点处即不是沿着x也不是沿着y而是沿着指定的某一个方向的偏导该怎么求？

这就是方向导数所要解决的问题。他能让我们找到函数在某一点处沿任意方向的导数，这就是说如果原来的偏导数只能解决偏x或者偏y的问题，那方向导数能够解决除了偏x和偏y这两个方向之外的问题。可见方向导数就是函数在某一点处沿着某一方向的导数。

对上图而言，已知曲面S是二元函数z=f(x,y)在三维坐标系中的函数图像，其中z0=f(x0,y0)。点P(x0,y0,z0)为曲面S上的一点。此外，单位向量i=[1,0]表示沿x轴方向，单位向量j=[0,1]表示沿y轴方向，任意方向的单位向量u=[a,b]=ai+bj。沿方向u的垂直平面与曲面S的交线为C，该曲线上过P点的切线T的斜率即为z在方向u上的变化率，也就是函数在u方向上的导数。

曲线C上的另一点为Q(x,y,z)，点P和Q在x-y平面上的投影为P',Q'。则向量P'Q'与单位向量u的方向相同，大小为单位向量u的h倍：

$\overrightarrow{P'Q'}=hu=[ha,hb]$

这样一来:

$x=x_{0}+ha,y=y_{0}+hb$

$z=f(x,y)=f(x_{0}+ha,y_{0}+hb)$

又：

$z_{0}=f(x_{0},y_{0})$

根据导数的定义，函数z=f(x,y)在u方向上的变化率为：

取h趋近于0的极限，得到函数在方向u上的瞬时变化率，这就是函数f在方向u上的方向导数：

若方向u与x轴正向的方向相同，则u=i=[1,0] ---》a=1,b=0，得到hu=[h,0]。代入公式得到：

$D_{i}f(x_{0},y_{0})=\lim_{h \to 0}\frac{f(x_{0}+h,y_{0})-f(x_{0},y_{0})}{h}$

若u与y轴方向相同，u=j=[0,1] ---》a=0,b=1，得到hu=[0,h]。代入公式得到：

$D_{j}f(x_{0},y_{0})=\lim_{h \to 0}\frac{f(x_{0},y_{0}+h)-f(x_{0},y_{0})}{h}$

这和直接用偏导数的计算公式算出来的一样：

这就是说，如果方向导数是一个集合的话，偏导数一定属于这个集合。或者说，偏导数是方向导数的一个特例。

此外，如果我们定义一个关于自变量h的函数g(h)：

$g(h)=f(x_{0}+ha,y_{0}+hb)$

根据导数的定义，函数在h=0处的导数为：

另一方面，我们还可以把函数g(h)用复合函数来表示:

$g(h)=f(x_{0}+ha,y_{0}+hb)\Rightarrow g(h)=f(x,y),where \; x=x_{0}+ha,y=y_{0}+hb$

根据链式求导法则有：

再令h=0，则有：

$x=x_{0},y=y_{0}$

最后，把4式与5式放在一起，我们有：

这个式子说明，函数f在任意方向u上的方向导数等于x方向的偏导数与一个系数的乘积与y方向的偏导数与一个系数的乘积之和。

梯度（是一个向量）

如果我们对定理3中的公式做进一步改写，我们有：

如此一来，我们就把方向导数的公式写成了两个向量的内积或点积的形式。如果我们暂时用“▽f”来表示上式中点积前面的那个向量:

则根据点积的另一种计算方法，方向导数的公式可改写为：

其中θ为向量▽f与向量u之间的夹角，当cosθ=1时达到最大值，此时夹角为0，u与▽f同向，方向导数的值为|▽f|。也就是，在众多个方向u中，当u转到和▽f的方向一致时，此时函数f的增加幅度最大，|▽f|非负。因为在所有的方向中，这个方向的增速最大，因此向量▽f是一个十分特殊的向量，我们称之为梯度。

这里我要着重说明的是：市面上的大多数微积分教材都是相对生硬的直接给出了梯度▽f的定义，然后再讨论他性质。我这里所说的性质是特指梯度向量的方向是沿着函数增加最大的方向这一性质。但在我的文章中，我是先暂时用▽f这个符合来代替偏导数向量组，即，[fx(x,y),fy(x,y)]。然后再根据点积的计算公式中当cosθ=1时，方向导数有最大值，这一特性。定义先前临时所使用的符合▽f为梯度。

换句话说，就是函数f在某一点P处的无数多个方向导数中，只有梯度向量这一个方向的方向导数最大。因此，这个特殊的方向或者说是向量才能称之为梯度。即，梯度是所有方向导数中的一个特例。

这也正是深度学习中令损失函数最小化时，用到的梯度下降法中反复提及的朝着梯度相反的方向的原因。

Tips:点积的两种算法