多元微分与偏微分总结

微分

在$x_0$处微分或导数：$\partial f(x_0),df(x_0)$

• $f(x_0+v)=f(x_0)+\partial f(x_0)(v)+o(v)$

• 线性映射

沿向量微分

在$x_0$处沿向量$v$的导数：$\frac{\partial f}{\partial v}(x_0),{\partial }_{v}f(x_0)$

• ${\lim }_{t\to 0^{+}}\frac{f(x_0+tv)-f(x_0)}{t}$
• 当$\Vert v\Vert =1$时，称为沿方向$v$的导数

当$f$在$x_0$处可微时：$\partial f(x_0)(v)=\frac{\partial f}{\partial v}(x_0)={\partial }_{v}f(x_0)$

• 此时$\frac{\partial f}{\partial v}(x_0)$关于$v$是线性的

微分与沿向量微分都可以为值域多维的函数

偏导数

偏导数：对于坐标$(x_1,x_2,...,x_m)$，在$(a_1,a_2,...,a_m)$处，关于坐标$x_k$偏导数$\frac{\partial f}{\partial x_k}(X),f_{x_k}^{\prime }(X)$

• ${\lim }_{t\to 0}\frac{f(a_1,..,a_k+t,..a_m)-f(a_1,...a_m)}{t}$
• 偏导数是$E\to \mathbb{R}$的函数，而前面定义的导数既可以是函数也可以是映射
• 有时可以写成：$f_{x_k}(X),{\partial }_{x_k}f(X),{\partial }_{k}f(X)$

偏导数与沿向量微分的关系

对于$\frac{\partial f}{\partial x}(x_0)$，如果$x$是一个向量，那么就看作沿向量的导数（可以为值域多元的映射），如果$x$对应着一个坐标，那么就是偏导数（只能是值域一维的函数）。

• 设$e_k$是坐标$x_k$对应的基底向量，即$x_k+1$在空间中的向量，则可以将偏导与方向导数联系起来。

• $\frac{\partial f}{\partial x_k}(X)=\frac{\partial f}{\partial e_k}(X)=\partial f(X)(e_k)=\lambda \partial f(X)(\frac{e_k}{\lambda })$

• 偏导与范数无关，与坐标系有关（即与基底$e_k$有关）

• $df(x_0)(v)=df(x_0)(\sum {\xi }_i{e}_i)=\sum {\xi }_{i}df(x_0)(e_i)=\sum {\xi }_i{\partial }_{i}f(x_0)=\sum {\partial }_{i}f(x_0)d{x}_i(v)=({\partial }_{1}f,{\partial }_{2}f,...,{\partial }_{m}f)(d_1..d_m{)}^T(v)$

• Jacobi矩阵：对于值域为$n$维的映射的导数，将上式排成一列即可得到矩阵：
  $$F=(f_1,f_2,...f_n),JF(x_0)=\left(\begin{array}{ccc}\frac{\partial f_1}{\partial x_1}(x_0)& ...& \frac{\partial f_1}{\partial x_m}(x_0)\\ ⋮& \ddots & ⋮\\ \frac{\partial f_n}{\partial x_1}(x_0)& ...& \frac{\partial f_n}{\partial x_m}(x_0)\end{array}\right)$$

梯度

梯度只对于值域为一维的函数考虑

对于线性函数$L(v):{\mathbb{R}}^n\to \mathbb{R}$，定义$\nabla L$满足$L(v)=⟨\nabla L,v⟩$

对于线性函数$df(x_0)(v)$，记$\nabla f(x_0)$为在$x_0$处的梯度向量，$df(x_0)(v)=⟨\nabla f(x_0),v⟩$

• 定义$\nabla f(x_0)$为$f$在$x_0$的梯度向量，$\nabla f(x_0)=\lambda v^{\ast },\Vert v^{\ast }\Vert =1$且
  $$\lambda =df(x_0)v^{\ast }=\underset{\Vert v\Vert =1}{\max }df(x_0)(v)$$

• 形象理解，梯度向量$\nabla f$是关于线性函数的在定义域内的向量，对于函数在一点$x_0$的导数就有梯度向量$\nabla f(x_0)$，$\nabla$的方向是$df$最大的方向（即$f$增长最快的方向），且$\nabla$的模长为这个方向上的导数，因此$⟨\nabla ,v⟩=⟨\lambda v^{\ast },v⟩=df(x_0)(v^{\ast })\ast (v在v^{\ast }方向上投影的模长)$

基于此可以给出在$(e_1,e_2,...,e_n)$为标准正交基的梯度
$$\begin{gathered} \nabla f(x_0):(\frac{\partial f}{\partial x_1}(x_0),\frac{\partial f}{\partial x_2}(x_0),...\frac{\partial f}{\partial x_n}(x_0){)}^T \\ 实际上： \\ \nabla f(x_0)=\sum _{i=1}^n\frac{\partial f}{\partial x_i}(x_0)e_i \end{gathered}$$

• 前者由于是坐标所以是列向量

• $⟨\nabla f(x_0),v⟩=(\frac{\partial f}{\partial x_1}(x_0),\frac{\partial f}{\partial x_2}(x_0),...\frac{\partial f}{\partial x_n}(x_0))G(e_1..e_n)\left(\begin{array}{c}d{x}_1(v)\\ d{x}_2(v)\\ ⋮\\ d{x}_n(v)\end{array}\right)$

• $G$为$(e_1..e_n)$为基的度量矩阵，如果为标准正交基则为$I$，那么$⟨\nabla f,v⟩=df(x_0)(v)$

• 如果$G\ne I$，则$\nabla f(x_0)$的坐标为$X=G^{-1}(\frac{\partial f}{\partial x_1}(x_0),\frac{\partial f}{\partial x_2}(x_0),...\frac{\partial f}{\partial x_n}(x_0){)}^T$，如此$⟨\nabla f(x_0),v⟩=YGX=YG{G}^{-1}{X}^{\prime }=Y{X}^{\prime }$

高阶偏导数

对于$i_k\in [1,n]$，依次对坐标$x_{i_1},x_{i_2}...x_{i_k}$求偏导
$$\begin{gathered} \frac{{\partial }^{k}f}{\partial x_{i_k}\partial x_{i_{k-1}}...\partial x_{i_1}}(x_0) \\ {\partial }_{x_{i_k},x_{i_{k-1}},...,x_{i_1}}^{k}f \\ {\partial }_{i_k,i_{k-1},...,x_{i_1}}^{k}f \\ {f}_{x_{i_1},x_{i_2},...,x_k}^{(k)} \\ {f}_{i_1,i_2,...,i_k}^{(k)} \end{gathered}$$

• 若$f$在$x_0$满足$k$阶连续，那么任意$k$次偏导，关于求导顺序无关

$k$阶微分是关于$k$个向量$v_1..v_k$的$k$重线性函数
$$d{f}^k(x)(v_1..v_k)=\sum _{i_1,i_2..i_k}\frac{{\partial }^{k}f}{\partial x_{i_k}\partial x_{i_{k-1}}...\partial x_{i_1}}(x)v_{1,i_1}{v}_{2,i_2}...v_{k,i_k}=\frac{{\partial }^{k}f}{\partial v_k..\partial v_1}(x)$$

泰勒展开

一维泰勒公式：
$$f(x_0+t)=\sum _{i=0}^{k-1}\frac{f^{(i)}(x_0)}{i!}{t}^i+o(t^{k-1})=\sum _{i=0}^{k-1}\frac{f^{(i)}(x_0)}{i!}{t}^i+\frac{f^{(k)}(x_0+t\theta )}{k!}{t}^k$$
任意维泰勒公式：
$$f(x_0+tv)=\sum _{i=0}^{k-1}\frac{{\partial }^{i}f}{\partial v^i}(x_0)\frac{t^i}{i!}+o(t^{k-1})=\sum _{i=0}^{k-1}\frac{{\partial }^{i}f}{\partial v^i}(x_0)\frac{t^i}{i!}+\frac{{\partial }^{k}f}{\partial v^k}(x_0+t\theta )\frac{t^k}{k!}$$
根据高阶偏导数：
$$\begin{gathered} f(x_0+tv)=\sum _{i=1}^{k-1}\frac{{\partial }^{i}f}{\partial v^i}(x_0)\frac{t^i}{i!}+o(t^{k-1}) \\ =\sum _{i=1}^{k-1}\sum _{{\alpha }_1+...+{\alpha }_n=i}\frac{{\partial }^{i}f}{\partial x_1^{{\alpha }_1}...\partial x_n^{{\alpha }_n}}(x_0)\prod _{j=1}^n\frac{(t{\xi }_j{)}^{{\alpha }_j}}{{\alpha }_j!}+o(t^{k-1}) \\ 令v^{\ast }=tv,\Vert v\Vert =1，则\Vert v_0\Vert =t \\ f(x_0+v^{\ast })=\sum _{i=1}^{k-1}\sum _{{\alpha }_1+...+{\alpha }_n=i}\frac{{\partial }^{i}f}{\partial x_1^{{\alpha }_1}...\partial x_n^{{\alpha }_n}}(x_0)\prod _{j=1}^n\frac{({\xi }_j^{\ast }{)}^{{\alpha }_j}}{{\alpha }_j!}+o(\Vert v^{\ast }{\Vert }^{k-1}) \end{gathered}$$

隐函数定理

$C^k$类函数$F$以及向量$X\in {\mathbb{R}}^m,Y\in {\mathbb{R}}^n$，在$(X_0,Y_0)$有（由于方程个数即未知数个数，所以$F$和$Y$的维数都是$n$）
$$F(X_0,Y_0)=(F_1(X_0,Y_0),...,F_n(X_0,Y_0))=0$$
并且在$(X_0,Y_0)$对于$Y$到$F$的$Jacobi$矩阵有
$$det(\frac{\partial F}{\partial Y})=det(\frac{\partial (F_1,F_2,...,F_n)}{\partial (y_1,y_2,...,y_n)})\ne 0$$
可以得到在$(X_0,Y_0)$的小邻域内有$C^k$类隐函数$Y=Y(X)$，且在$(X_0,Y_0)$有
$$\frac{\partial Y}{\partial X}=-(\frac{\partial F}{\partial Y}{)}^{-1}\frac{\partial F}{\partial X}$$

• 对于二元函数$f(x,y)$，退化为$f(x_0,y_0)=0$，满足$\frac{\partial f}{\partial y}(x_0,y_0)\ne 0$则有隐函数$y=y(x)$且

$$\frac{dy}{dx}(x_0,y_0)=-\frac{\frac{\partial f}{\partial x}(x_0,y_0)}{\frac{\partial f}{\partial y}(x_0,y_0)}$$

注意$det(\frac{\partial F}{\partial Y})\ne 0$并不是必要条件而是充分条件

如何快速理解$\frac{\partial Y}{\partial X}$的式子？

• 移项后得到$\frac{\partial F}{\partial X}+\frac{\partial F}{\partial Y}\frac{\partial Y}{\partial X}=0$

• 这实际上是对$F(X,Y(X))=0$，复合函数对于$X$求偏导数

更加感性但直观的理解？

• 对于$\frac{dy}{dx}(x_0,y_0)=-\frac{\frac{\partial f}{\partial x}(x_0,y_0)}{\frac{\partial f}{\partial y}(x_0,y_0)}$

• 将左边的$dx$移到右边，将右边的$\frac{\partial f}{\partial y}$移到左边

• $\frac{\partial f}{\partial y}dy+\frac{\partial f}{\partial x}dx=0$

• 直观来看就是对于$dy/dx$满足这个式子，就有沿着$(dx,dy)$的方向，满足$df=0$，即$f(x+dx,y+dy)=f(x,y)=0$

对于$\frac{\partial Y}{\partial X}=-(\frac{\partial F}{\partial Y}{)}^{-1}\frac{\partial F}{\partial X}$，如果令$F(X,Y)=f(X)-Y=0$，那么就有
$$\frac{\partial Y}{\partial X}=-(\frac{\partial F}{\partial Y}{)}^{-1}\frac{\partial F}{\partial X}=(\frac{\partial X}{\partial Y}{)}^{-1}$$
即对于$Y=Y(X)$以及$X=X(Y)$的$Jacobi$矩阵有互为逆的关系