多元微分学

实际应用中的函数普遍包含多个变量，当进入高维时，微积分的普遍法则本质上保持原样，虽然必须引入一些新的记号，但幸运的是并不需要彻底改造原有理论，多变量微积分无非是同时在各个方向运用单变量微积分（向量和矩阵表示将大大简化多元微积分，并能保持与低维形式上的一致性）。

本文使用小写字母$x$表示标量，粗体小写字母$\boldsymbol{x}$表示向量，大写字母$X$表示矩阵。

梯度（Gradient）

多元函数

定义：$f:\boldsymbol{x}\rightarrow y$，其中$\boldsymbol{x}=(x_{1},x_{2},...,x_{n})\in \mathbb{R}^{n}$，$y\in \mathbb{R}$。多元函数是从n维空间（n维向量）到一维空间（标量）的映射。

等高线图

定义：对于二元函数$f(x,y)$，曲线$f(x,y)=z_{0}$称为函数f在平面$z=z_{0}$中的等高线。如果所有等高线$z=z_{0}$都被投射到$x-y$平面上，则得到这个曲面的等高线图。

梯度（向量）

定义：$f$在点$\boldsymbol{x}$处的梯度是由对应维度的偏导构成向量，记作$\bigtriangledown f(\boldsymbol{x})$，读作grad f或del f。

$$\triangledown f(\boldsymbol{x}) = \begin{bmatrix} \frac{\partial f}{\partial x_{i}} \end{bmatrix}_{n\times 1}$$

性质：

• 梯度是标量对向量的导数；
• 梯度是输入空间中的一个偏导向量；
• 梯度的方向是在输入空间中使函数增长最快的方向；
• 梯度的大小是函数关于输入向量的最大变化率；
• 梯度也称为全导数，记做$f^{'}(\boldsymbol{x})$

$$f^{'}(\boldsymbol{x})=\triangledown f(\boldsymbol{x}) = \begin{bmatrix} \frac{\partial f}{\partial x_{i}} \end{bmatrix}_{n\times 1}\\ f(\boldsymbol{x}) \approx f(\boldsymbol{x_{0}})+f^{'}(\boldsymbol{x_{0}})^{T}(\boldsymbol{x}-\boldsymbol{x_{0}})$$

全微分

定义：多元函数全增量$\triangle f$的线性主部，记做$df$。

$$\triangle f=\sum_{i=1}^{n}a_{i}\triangle x_{i}+o(\rho )\\ df=\sum_{i=1}^{n}\frac{\partial f}{\partial x_{i}}dx_{i} =\triangledown f(\boldsymbol{x})\cdot d\boldsymbol{x}$$

梯度-全导数-全微分-偏导之间的关系如下：

$$\triangledown f(\boldsymbol{x})=f^{'}(\boldsymbol{x})=\frac{\mathrm{d} f}{\mathrm{d} \boldsymbol{x}}=\begin{bmatrix} \frac{\partial f}{\partial x_{i}} \end{bmatrix}_{n\times 1}$$

方向导数

定义：设$\mathbf{\mathit{u}}$为单位向量，$f$在该方向上的方向导数（变化率）记做$\frac{\partial f}{\partial \mathbf{\mathit{u}}}$。

∂f(x)∂u=limh→0f(x+hu)−f