Hessian矩阵

参考文献link. link.

Hessian Matrix，它有着广泛的应用一个Hessian Matrix涉及到很多数学相关的知识点，比如泰勒公式、极值判断、矩阵特征值及特征向量、二次型等。本篇文章，主要说明多元情况下的极值判定、hessian矩阵与二次型的联系。

黑塞矩阵（Hessian Matrix），是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。

1、二元函数的泰勒公式

对于一元函数的泰勒公式，大家都有所了解，其意义是使用多次多项式来近似表达原函数f(x)，一元函数的f(x)的泰勒公式如下：
二元函数的泰勒展开式为：

将上述展开式写成矩阵形式，则有：

2、判断极值

一元函数，如果在x0处的一阶导数为0，二阶导数为正，那么我们就可以认为x0为极小值点。对于图像中的二元函数呢？我们是可以类推的。根据上述二元泰勒公式可得二阶近似表达式：
我们可以根据二元函数的二阶表达式的正负进行判定。
对于这种情形，这里面会涉及到Hessian矩阵正定以及负定的判断，这里令△x=[dx,dy]，H为第三项二阶矩阵，如果对于任意向量△x，都有△xH△x^T为正，那么有最小值，且H为正定的。如果对于任意向量△x，都有△xH△x^T非负，那么有最大值，且H为负定的。

3、二次型

二次型: link.

可以发现上面矩阵H即为Hessian矩阵，具有对称性。而二次型的矩阵也是对称的。
最小化二次型函数，其中A是实对称二阶矩阵，即是hessian矩阵。
较大特征值所对应的特征向量方向上的函数值变化快，较小特征值所对应的特征向量方向上的函数值变化慢。