矩阵正定性的判断，Hessian矩阵正定性在GD中的应用

这是在看别人面筋时看面试官问的一道题，记录一下

• 矩阵正定性的判断

判断一个矩阵是否正定，可以看此矩阵的所有特征值是否不小于0，如果满足条件，则判定为半正定，若所有特征值都大于0，则判定为正定。

• Hessian矩阵正定性在GD中的应用

Hessian 矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。Hessian 矩阵常用于牛顿法解决优化问题，利用Hessian 矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到Hessian 矩阵。

在判断优化算法可行性时Hessian 矩阵的正定性起很大的作用。若Hessian 矩阵正定，则函数的2阶偏导恒大于0，函数的变化率处于递增状态，在牛顿法等GD方法中，Hessian 矩阵很容易判断函数是否可收敛到局部或全局最优。

 

还看到了问牛顿法和拟牛顿法的区别

• 牛顿法和拟牛顿法

牛顿法优点：

                    1）收敛速度快

                     2）迭代次数少

牛顿法缺点：

                    1）Hessian 矩阵稠密

                    2）迭代计算量大，占存储空间大

拟牛顿法特点：

引入了Hessian 矩阵的近似矩阵，用Hessian 矩阵的逆矩阵代替Hessian 矩阵。虽然不能像牛顿法那样保证最优化的方向，始终正定，但是算法始终朝着最优化的方向在搜索。