Hesse矩阵

垂杨有暮鸦⊙_⊙

已于 2024-11-09 19:58:52 修改

阅读量1.2k

点赞数 13

分类专栏：高等工程数学文章标签：矩阵线性代数

于 2024-11-03 16:55:58 首次发布

本文链接：https://blog.csdn.net/qq_58675332/article/details/143463967

版权

高等工程数学专栏收录该内容

11 篇文章

订阅专栏

文章目录

2.2与雅可比矩阵(Jacobian matrix)的关系

三、例题

四、应用

前言

上一篇最优性条件与线探索中用到了Hesse矩阵，现在记录一下Hesse矩阵。

一、定义

Hesse矩阵，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。Hesse矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。

1.1二阶导数：一阶导数的变化率

	$f(x)=2x$	$f(x)=x^{2}$
一阶导数	$\frac{\mathrm{d} f}{\mathrm{d} x}=2$	$\frac{\mathrm{d} f}{\mathrm{d} x}=2x$
二阶导数	$\frac{\partial^2 f}{\partial x^2}=0$	$\frac{\partial^2 f}{\partial x^2}=2$

1.2多维函数：偏导数

一阶偏导为向量，称为梯度(gradient)

$\triangledown f(x)=\begin{bmatrix} \frac{\partial f}{\partial x_{1}}\\ \frac{\partial f}{\partial x_{2}}\\ \vdots \\ \frac{\partial f}{\partial x_{3}}\end{bmatrix}$

$\partial =$ partial(偏导数)

$\frac{\partial f}{\partial x_{i}}$ 仍是 $x$ 的标量函数， $R^{n}\rightarrow R$

把 $\triangledown \left ( \frac{\partial f}{\partial x_{i}} \right )$ 写称 $\triangledown ^{2}f(x)$ 矩阵形式

$H(x)$ 方形矩阵就为Hesse矩阵，即对梯度 $\triangledown f(x)$ 再求偏导。

二、性质：

2.1对称性

如果函数 $f$ 在D区域内二阶连续可导，那么 $f$ Hesse矩阵 $H(x)$ 在D内为对称矩阵。

原因：如果 $f$ 函数的二阶偏导数连续，则二阶偏导数的求导顺序没有区别，即

$H_{ij}=\frac{\partial }{\partial x_{j}}\frac{\partial f}{\partial x_{i}}=\frac{\partial }{\partial x_{i}}\frac{\partial f}{\partial x_{j}}=H _{ji}$

所以 $H(x)$ 具有对称性。

2.2与雅可比矩阵(Jacobian matrix)的关系

向量函数

$g(x)=\begin{bmatrix} g_{1}(x)\\ g_{2}(x)\\ \vdots \\ g_{m}(x)\end{bmatrix}$

$H(x)=J(\triangledown f)$

目标函数 $f$ 梯度 $\triangledown f(x)$ 的Jacobian矩阵和目标函数 $f$ 的Hesse矩阵是等价的。

三、例题

$f(x,y)=5x+8y+xy-x^{2}-2y^{2}$

$\triangledown f(x,y)=\begin{bmatrix} \frac{\partial f}{\partial x}\\ \frac{\partial f}{\partial y} \end{bmatrix}==\begin{bmatrix} 5-2x+y\\ 8+x-4y \end{bmatrix}$