Jacobian矩阵和Hessian矩阵

1. Jacobian

在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群, 曲线可以嵌入其中. 它们全部都以数学家卡尔·雅可比(Carl Jacob, 1804年10月4日－1851年2月18日)命名；英文雅可比量”Jacobian”可以发音为[ja ˈko bi ən]或者[ʤə ˈko bi ən].

雅可比矩阵

雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数.

假设${R_n} \to {R_m}$是一个从欧式n维空间转换到欧式m维空间的函数. 这个函数由m个实函数组成: y1(x1,…,xn), …, ym(x1,…,xn). 这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵, 这就是所谓的雅可比矩阵：

$$\begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \cdots & \frac{\partial y_1}{\partial x_n} \\ \vdots & \ddots & \vdots \\ \frac{\partial y_m}{\partial x_1} & \cdots & \frac{\partial y_m}{\partial x_n} \end{bmatrix}$$
此矩阵表示为: ${J_F}({x_1}, \ldots ,{x_n})$或 $\frac{{\partial ({y_1}, \ldots ,{y_m})}}{{\partial ({x_1}, \ldots ,{x_n})}}$

这个矩阵的第i行是由梯度函数的转置yi(i=1,…,m)表示的.

如果p是${R_n}$中的一点, F在p点可微分, 那么在这一点的导数由${J_F}({\bf{p}})$给出(这是求该点导数最简便的方法). 在此情况下, 由$F({\bf{p}})$描述的线性算子即接近点p的F的最优线性逼近, x逼近于p:

$$F({\bf{x}}) \approx F({\bf{p}}) + {J_F}({\bf{p}}) \cdot ({\bf{x}} – {\bf{p}})$$

雅可比行列式

如果m = n, 那么FF是从n维空间到n维空间的函数, 且它的雅可比矩阵是一个方块矩阵. 于是我们可以取它的行列式, 称为雅可比行列式.

在某个给定点的雅可比行列式提供了 在接近该点时的表现的重要信息. 例如, 如果连续可微函数F在p点的雅可比行列式不是零, 那么它在该点附近具有反函数. 这称为反函数定理. 更进一步, 如果p点的雅可比行列式是正数, 则F在p点的取向不变；如果是负数, 则F的取向相反. 而从雅可比行列式的绝对值, 就可以知道函数F在p点的缩放因子；这就是为什么它出现在换元积分法中.

对于取向问题可以这么理解, 例如一个物体在平面上匀速运动, 如果施加一个正方向的力F, 即取向相同, 则加速运动, 类比于速度的导数加速度为正；如果施加一个反方向的力F, 即取向相反, 则减速运动, 类比于速度的导数加速度为负.

1. 海森Hessian矩阵

在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵, 此函数如下：

$$f({x_1},{x_2} \ldots ,{x_n})$$
如果 $f$的所有二阶导数都存在, 那么$f$的海森矩阵即：
$$H{(f)_{ij}}(x) = {D_i}{D_j}f(x)$$
其中 $x = ({x_1},{x_2} \ldots ,{x_n})$，即 $H(f)$为:
$$\begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1\,\partial x_n} \\ \\ \frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2\,\partial x_n} \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \frac{\partial^2 f}{\partial x_n\,\partial x_1} & \frac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2} \end{bmatrix}$$
(也有人把海森定义为以上矩阵的行列式)海森矩阵被应用于牛顿法解决的大规模优化问题.

海森矩阵在牛顿法中的应用

一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化.

1), 求解方程

并不是所有的方程都有求根公式, 或者求根公式很复杂, 导致求解困难. 利用牛顿法, 可以迭代求解.

原理是利用泰勒公式, 在${x_0}$处展开, 且展开到一阶, 即$f(x) = f({x_0}) + (x – {x_0})f’({x_0})$

求解方程$f(x) = 0$, 即$f({x_0}) + (x – {x_0})f’({x_0}) = 0$, 求解$x = {x_1} = {x_0} – f({x_0})/f’({x_0})$, 因为这是利用泰勒公式的一阶展开, $f(x) = f({x_0}) + (x – {x_0})f’({x_0})$处并不是完全相等, 而是近似相等, 这里求得的${x_1}$并不能让$f(x) = 0$, 只能说$f({x_1})$的值比$f({x_0})$更接近$f(x){\rm{ = }}0$, 于是乎, 迭代求解的想法就很自然了, 可以进而推出${x_{n + 1}} = {x_n} – f({x_n})/f’({x_n})$, 通过迭代, 这个式子必然在$f({x^ * }){\rm{ = }}0$的时候收敛. 整个过程如下图：