人工智能数学课高等数学线性微积分数学教程笔记（4. 多元函数的微分学）

前言

对人工智能数学课高等数学线性微积分数学教程的学习笔记。主要用于快速回忆已学的数学知识点，不适合基础学习。博客园中同步更新。

文章目录

0. 人工智能数学课高等数学线性微积分数学教程笔记（目录）
1. 人工智能数学课高等数学线性微积分数学教程笔记（1. 数学内容概述）
2. 人工智能数学课高等数学线性微积分数学教程笔记（2. 一元函数微分学）
3. 人工智能数学课高等数学线性微积分数学教程笔记（3. 线性代数基础）
4. 人工智能数学课高等数学线性微积分数学教程笔记（4. 多元函数的微分学）
5. 人工智能数学课高等数学线性微积分数学教程笔记（5. 线性代数高级）
6. 人工智能数学课高等数学线性微积分数学教程笔记（6. 概率论）
7. 人工智能数学课高等数学线性微积分数学教程笔记（7. 最优化）

---

---

4. 多元函数的微分学

- 偏导数

其他的自变量固定不动，对其中某一个变量求导数。
$$\frac{\partial f}{\partial x_i}=\underset{\Delta x_i\to 0}{\lim }\frac{f\left(x_1,...,x_i+\Delta x_i,...,x_n\right)-f\left(x_1,...,x_i,...,x_n\right)}{\Delta x_i}$$

from sympy import diff,symbols
x,y = symbols('x y')
f = x**2 + x*y - y**2
diff(f,x)
>>> 2*x + y

- 高阶偏导数

• 依次对每一个变量反复求导
• 高阶导数和求导次序无关：$\frac{{\partial }^{2}f}{\partial x\partial y}=\frac{{\partial }^{2}f}{\partial y\partial x}$;
• diff(f,x,2) = $\frac{{\partial }^{2}f}{{\partial }^{2}x}$
• diff(f,y).subs(y,2) = $\frac{\partial f}{\partial y}{|}_{y=2}$

- 梯度

$$\nabla f(\mathbf{x})={\left(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\cdots ,\frac{\partial f}{\partial x_n}\right)}^T$$

- 雅克比矩阵

一阶偏导数构成的矩阵，简化求导公式。

一个函数 $f$ 把 $n$ 维向量 $\mathbf{x}$ 映射为 $k$ 维向量 $\mathbf{y}$：$\mathbf{y}=f(\mathbf{x})$
$$\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_1}{\partial x_2}& \cdots & \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_2}{\partial x_n}\\ \cdots & \cdots & \cdots & \cdots \\ \frac{\partial y_k}{\partial x_1}& \frac{\partial y_k}{\partial x_2}& \cdots & \frac{\partial y_k}{\partial x_n}\end{array}\right]$$
第 $k$ 行就是 $y_k$ 对 $x_1,x_2,\cdots ,x_n$ 求偏导。

- Hessian 矩阵

• 设有一个 $n$ 元函数：

$$\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{{\partial x_1}^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{{\partial x_2}^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ \cdots & \cdots & \cdots & \cdots \\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{{\partial x_n}^2}\end{array}\right]$$

• 它的所有元素是二阶偏导数，Hessian 矩阵是对称矩阵。

• Hessian 矩阵和函数凹凸性有密切关系。Hessian 矩阵正定，函数为凸函数，负定则为凹函数。

- 极值判别法则

• 一元函数：$f(x)$ 一阶导数等于0处有极值，当 $f(x)$ 的二阶导数大于0时是极小值，当二阶导数小于0时是极大值，参考 $x^2$。

• 多元函数的极值判别法则：看 Hessian 矩阵在 $f(\mathbf{x})$ 的二阶导数等于0处，即驻点处。

  • 若 Hessian 矩阵是正定，函数在该点有极小值；
  • 若 Hessian 矩阵是负定，函数在该点有极大值；
  • 若 Hessian 矩阵不定，则还需要看更高阶导数。

• 矩阵正定：对于任意向量 $\mathbf{x}\ne \vec{0}$ ，都有 ${\mathbf{x}}^T\mathbf{A}\mathbf{x}>0$，则是正定矩阵，如果是 $\ge$，则是半正定矩阵。

• 判断原则：

  • 矩阵特征值全部大于0；

  • 矩阵所有的顺序主子式都大于0；

  • 矩阵合同于单位阵。