Hessian 矩阵（海森矩阵）

Hessian 矩阵（海森矩阵）是一个包含二阶偏导数信息的方阵，在数学和优化中起着重要作用。对于一个多元函数，其 Hessian 矩阵是由其各个变量的二阶偏导数组成的矩阵。

假设有一个函数$f(x_1,x_2,\dots ,x_n)$，其 Hessian 矩阵 (H) 的元素是：

$$H_{ij}=\frac{{\partial }^{2}f}{\partial x_i\partial x_j}$$

其中 $i$ 和$j$ 是变量的索引，表示函数对变量$x_i$ 和$x_j$ 进行求导两次得到的结果。

Hessian 矩阵提供了函数局部极值的信息。在优化问题中，通过分析 Hessian 矩阵的特征值和特征向量，可以判断局部极值点的性质。比如：

• 当 Hessian 矩阵在某点是正定（所有特征值均为正），这个点是局部最小值点。
• 当 Hessian 矩阵在某点是负定（所有特征值均为负），这个点是局部最大值点。
• 当 Hessian 矩阵在某点的特征值有正有负，这个点是鞍点（saddle point）。

Hessian 矩阵在优化算法中的应用非常广泛，特别是对于牛顿法等利用二阶导数信息的算法。

考虑一个简单的二元函数：

$$f(x,y)=x^2+2y^2$$

这个函数的 Hessian 矩阵是：

$$H=\left[\begin{array}{cc}2& 0\\ 0& 4\end{array}\right]$$

这个矩阵中的元素$H_{ij}$ 表示函数对$x_i$ 和$x_j$的二阶偏导数。在这个例子中，$H_{11}=2$、$H_{22}=4$，其余元素为零。

观察 Hessian 矩阵的特征值：

$$\text{det}(H-\lambda I)=0$$

其中$I$ 是单位矩阵，$\lambda$ 是特征值。解这个方程可以得到 Hessian 矩阵的特征值。

对于这个例子，特征值为${\lambda }_1=2$和${\lambda }_2=4$，都是正值，说明这个函数在原点附近是一个局部最小值点。这与我们对函数形式的了解是一致的，因为$f(x,y)=x^2+2y^2$是一个沿着 x 方向开口朝上的二次型，所以原点是一个局部最小值点。