海森矩阵介绍及其在机器学习、深度学习中的理解

Key Words: Hessian Matrix, second order derivatives, convexity, and saddle points
原文链接：Hessian, second order derivatives, convexity, and saddle points
翻译：

Hessian Matrix：二阶导和函数曲率

回忆一下$f$的梯度 $f:{\mathbb{R}}^n\to \mathbb{R}$：
$$f^{\prime }(x)=[\frac{\delta f}{\delta x_1},\frac{\delta f}{\delta x_2},\cdots ,\frac{\delta f}{\delta x_n}]\text{\hspace{1em}(1)}$$
求$f$的二阶导意味着，我们可以看到第$i$个一阶导$\frac{\delta f}{\delta x_i}$是如何影响其他所有偏导数的。求二阶导相当于求$f^{\prime }(x)$的Jacobian矩阵，结果如公式(2)所示。

H = [ ∂ 2 f ∂ x 1 2 ∂ 2 f ∂ x 1 ∂ x 2 ⋯ ∂ 2 f ∂ x 1 ∂ x n ∂ 2 f ∂ x 2 ∂ x 1 ∂ 2 f ∂ x 2 2 ⋯ ∂ 2 f ∂ x 2 ∂