Hessian Matrix,译作黑塞矩阵、海森矩阵、海瑟矩阵、海塞矩阵等。是一个多元函数的二阶偏导数构成的方阵,描述了函数的局部曲率。Hessian Matrix最早于19世纪由德国数学家Ludwig Otto Hesse提出,并以其名字命名。
Hessian Matrix常用于牛顿法解决优化问题,利用Hessian Matrix可判定多元函数的极值问题。
在工程实际问题的优化设计中,所列的目标函数往往很复杂,为了使问题简化,常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数,此时函数在某点泰勒展开式的矩阵形式中会涉及到Hessian Matrix。
一、二元函数的Hessian Matrix
由高等数学知识可知,若一元函数f(x)在点X0的某个邻域内具有任意阶导数,则f(x)在点X0处的泰勒展开式为:
对于二元函数在点
处的泰勒展开式为:
将上式写成矩阵的形式:
上式缩写为:
其中:
就是
在点
处的Hessian Matrix,它是函数
在点
处的二阶导数组成的方阵。
二、多元函数的Hessian Matrix
将二元函数的泰勒展开式推广到多元函数,则 在点
处的泰勒展开式的矩阵形式为:
其中:
,它是
在
处的梯度。
为
在
处的Hessian Matrix。
三、利用Hessian Matrix判定多元函数的极值
设n多元实函数 在点
的邻域内有二阶连续偏导,若有:
且
则:
当A正定矩阵时, 在
处是极小值
当A负定矩阵时,在
处是极大值
当A不定矩阵时, 不是极值点
当A为半正定矩阵或半负定矩阵时,是“可疑”极值点,尚需要利用其他方法来判定。