Hessian矩阵

一、总述

设自变量：x = ( x1, x2 ,⋯, xn )T
因变量有两种情况：

• 一维f(x)：
  一阶导数构成的向量为梯度向量 g(x)

• 
  二阶导数构成的矩阵为Hessian矩阵(海森矩阵)

• 多维 f(x) =(f1(x), f2(x), ⋯ , fm(x))T：
  此时的一阶导数构成的矩阵为Jacobian矩阵（雅克比矩阵）

二、海森Hessian矩阵

在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵, 此函数如下：

则有如下结果：

（1）当A正定矩阵时，  在  处是极小值；

（2）当A负定矩阵时，  在  处是极大值；

（3）当A不定矩阵时，  不是极值点。

（4）当A为半正定矩阵或半负定矩阵时，  是“可疑”极值点，尚需要利用其他方法来判定。

实例

求三元函数  的极值。

解：因为

  ，故该三元函数的驻点是  。

又因为  ，故有： 

因为A是正定矩阵，故  是极小值点，且极小值  。

2), 最优化

在最优化的问题中, 线性最优化至少可以使用单纯形法(或称不动点算法)求解, 但对于非线性优化问题, 牛顿法提供了一种求解的办法. 假设任务是优化一个目标函数ff, 求函数ff的极大极小问题, 可以转化为求解函数ff的导数f′=0f′=0的问题, 这样求可以把优化问题看成方程求解问题(f′=0f′=0). 剩下的问题就和第一部分提到的牛顿法求解很相似了.

这次为了求解f′=0f′=0的根, 把f(x)f(x)的泰勒展开, 展开到2阶形式：