为什么机器学习（一）——Hessian矩阵的正定性为什么可以决定函数是否有极值

为什么机器学习（一）——Hessian矩阵的正定性为什么可以决定函数是否有极值

在学习机器学习的过程中，我们不可绕开的是训练模型的时候怎么找到损失函数的极值。
可能大家都曾记住过这样一个结论：若M点处函数的梯度为0，则M为驻点，那么：
（1）Hessian矩阵正定=>函数在M点有极小值
（2）Hessian矩阵负定=>函数在M点有极大值
（3）Hessian矩阵不定=>M点不是极值点
最初我看到这个结论的时候把他当公式背下来了，但是时间久了容易忘而且理解不深刻，最近试着证明理解了一下，希望大家批评指正。

1.引理：多元函数的Taylor展开

多元函数的在${\vec{x}}_0$处的Taylor展开为：

$$\begin{gathered} f(x_1,x_2,......,x_n)=f(x_{0(1)},x_{0(2)},......,x_{0(n)})+{\sum }_{i=1}^n{f}_{x_{0(i)}}^{\prime }(x_{0(1)},x_{0(2)},......,x_{0(n)})(x_i-x_{0(i)}) \\ +\frac{1}{2!}{\sum }_{i,j=0}^n(x_i-x_0(i))(x_j-x_{0(j)})f_{x_0(i)x_0(j)}^{\prime \prime }(x_{0(1)},x_{0(2)},......,x_{0(n)})+o^n \end{gathered}$$

写成矩阵形式：

$f(\vec{x})=f({\vec{x}}_0)+[\nabla f(x_0){]}^T(\vec{x}-{\vec{x}}_0)+\frac{1}{2!}[\vec{x}-{\vec{x}}_0{]}^{T}H(x_0)[\vec{x}-{\vec{x}}_0]+o^n$

其中$H$是Hessian矩阵

2.从极值原理出发看为什么有极值

假设$x_0$是驻点，我们想判断这个点是否是极值点，那么要看$f(x_0+\Delta x)$和$f(x_0)$的关系:
由Taylor展开的矩阵形式：

$$f(\vec{x}+\overrightarrow{\Delta x})-f(\vec{x})=[\nabla f(x_0){]}^T(\overrightarrow{\Delta x})+\frac{1}{2!}[\overrightarrow{\Delta x}{]}^{T}H(x_0)[\overrightarrow{\Delta x}]+o^n\text{\hspace{1em}(1)}$$

由于$x_0$是驻点,所以$[\nabla f(x_0){]}^T$为0，忽略$o^n$,则（1）式的正负仅与$[\overrightarrow{\Delta x}{]}^{T}H(x_0)[\overrightarrow{\Delta x}]$有关,故:
（1）Hessian矩阵正定=>(1)式大于0恒成立，函数在M点有极小值
（2）Hessian矩阵负定=>(1)式小于0恒成立函数在M点有极大值
（3）Hessian矩阵不定=>(1)式正负性难料，M点不是极值点