Hessian matrix与极值点的一点思考

1. Hessian矩阵正定和极值点的关系

同济版《高等数学》下册对二元函数极值点的判定法则：

$AC-B^2>0，其中A=f_{xx}^{(2)},C=f_{yy}^{(2)},B=f_{xy}^{(2)}$

此处的二元函数可以看做二维向量。

而在机器学习中，对于极值点的描述是：hessian矩阵正定（或者非负定矩阵或者半正定）。这两者有何关系？

要证明这个结论，首先要明确一点，hessian矩阵是对称矩阵，对称矩阵$Q$必然可以对角化为

$P^T\Lambda P$，假若关于样本值的二阶导数矩阵为：

$A^{T}QA=A^T(P^T\Lambda P)A=(AP{)}^T\Lambda (PA)$，而对称矩阵的特征向量正交，即：
$$\begin{gathered} P_i^T{P}_j=0,i!=j \\ {P}_i^T{P}_j=1,i==j \end{gathered}$$
因此，若$\Lambda$ 正定，则二次型的值必然大于0，结论得证。

通俗的理解：因为hessian矩阵的特征值可以看做梯度的反方向，若矩阵的特征值符号不同，说明元素的梯度方向不同，有些元素的导数为正，有些元素的导数为负数。此时，多元函数有可能处于鞍点，当前点肯定不是多元函数的极值点。

而《高等数学》的条件中，可以推出如下结论：$B^2>0,A与C同号，即2者导数方向相同$。若此时两个元素的导数都大于0，那么此时梯度方向为负数，当前是极大值；若两个元素的导数都小于0，此时梯度下降方向为正值，当前点为极小值。

考虑求如下hessian矩阵的特征值：

$$\left\{\begin{array}{cc}A& B\\ B& C\end{array}\right\}x=\lambda x$$
$$\left|\begin{array}{cc}A-\lambda & B\\ B& C-\lambda \end{array}\right|=0$$

$${\lambda }^2-(A+C)\lambda +AC-B^2=0$$

$$\begin{gathered} \lambda =\frac{(A+C)+-\sqrt{(A+C{)}^2-4AC+B^2}}{2}= \\ \frac{(A+C)+-\sqrt{(A-C{)}^2+B^2}}{2} \end{gathered}$$

此时一定有：
$$(A+C)\ge \sqrt{(A-C{)}^2+B^2}$$

通过《高等数学》的结论$AC>B^2$一定可以推出其矩阵的特征值大于0。

2. hessian矩阵的特征值和梯度下降
   $hessian矩阵特征值的绝对值最大的为梯度下降最快的方向$
   这个论述是显而易见，训练数据可以看做向量，各个元素的比重相同，因此，一个向量中梯度最大的元素作为整个向量的梯度下降方向是合适的。