Hessian矩阵的几何意义

就像高中用二阶导数来判断一维二次函数的凹凸走向一样，Hessian矩阵不过是用来判断多维函数在某一指定点的凹凸性而已，看完这个博客想必你会立马恍然大悟，文章篇幅不大，还请耐心看完全程。

1. 基础一：什么是行列式

这个想必大家都懂得，以二维矩阵为例：

2.基础二：特征值和特征向量

矩阵最大的应用之一就是在几何变换上，比如旋转，平移，反射，以及倍数变大或变小。
举例：
$$X=\left[\begin{array}{cc}3& -1\end{array}\right]$$
$$\left[\begin{array}{cc}2& 0\\ 0& 2\end{array}\right]\ast X$$
$$\left[\begin{array}{cc}6& -2\end{array}\right]$$
可以看出，相等于把矩阵X每个元素都扩大了2倍。
再比如，给定一个普通矩阵
$$\left[\begin{array}{cc}2& 3\\ 5& 4\end{array}\right]$$
这个矩阵看上去很普通，但是如果乘以
$$\left[\begin{array}{c}3\\ 5\end{array}\right]$$
可以得到
$$\left[\begin{array}{c}21\\ 35\end{array}\right]$$
就好比乘以了一个标量7。此时我们便得到了一个特征向量以及特征值。对于分析Hessian矩阵，特征向量不是很重要，但是特征值很重要

3.基础三：求解特征值

简单粗暴，没什么解释的，就这么求的方法为：
$$\left|\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]-\left[\begin{array}{cc}x& 0\\ 0& x\end{array}\right]\right|=0$$
$$\left|\begin{array}{cc}a-x& b\\ c& d-x\end{array}\right|=0$$
我们已经复习过了求行列式的方法，所以上述行列式不难求。
举例，求$\left[\begin{array}{cc}2& 3\\ 5& 4\end{array}\right]$的特征值，你会得到$\left[\begin{array}{cc}2-x& 3\\ 5& 4-x\end{array}\right]$
计算行列式(determinant)可得
$$\begin{gathered} (2-x)(4-x)-15=0 \\ 8-6x+x^2-15=0 \\ {x}^2-6x-7=0 \\ (x-7)(x+1)=0 \\ x=7/-1 \end{gathered}$$
7或者-1就是我们要求的特征值。

4.应用：特征值的含义

Hessian矩阵我们已经知道是二阶导数矩阵，有时候二阶导数仍然带有未知数，所以求给定点的Hessian矩阵才有意义，给定坐标后，Hessain矩阵变成常数矩阵，然后就可以求其特征值

1. 如果Hessian矩阵所有特征值均为正：开口向上凹的点
   
2. 如果均为负：开口向下凹的点
   
3. 如果有正有负：存在鞍点
   
4. 如果有一项为0：不确定情况。

5.结论

Hessain矩阵的几何意义就是判断点的凹凸性，基于Hessian矩阵的牛顿法，只适用于所有特征值均为正的情况。
（本文翻译自Bing搜索某一链接，如有侵权，请立即联系我，我会立刻删除，谢谢☺）