【矩阵学习】Jacobian矩阵和Hessian矩阵

Jacobian 矩阵

在向量分析中, 雅可比矩阵是一阶（first-order）偏导数（partial derivatives）以一定方式排列成的矩阵, 其行列式称为雅可比行列式。

wikipedia 给出的定义：
假设 $\mathbf{f}:R^n\to R^m$ 是一个从欧式 $n$ 维空间映射到欧式 $m$ 维空间的函数，输入向量为 $\mathbf{x}\in R^n$，输出向量为 $\mathbf{f}(\mathbf{x})\in R^m$。若$f$ 的偏导数存在，其组成的 $m\times n$ 的矩阵就是雅可比（Jacobian）矩阵：

可以看出，${\mathbf{J}}_{ij}=\frac{\partial {\mathbf{f}}_i}{\partial {\mathbf{x}}_j}$。


Jacobian 矩阵有一个很重要的知识点，就是 最佳优线性近似 。

如果 $p$ 是 $R^n$ 中的一点，$\mathbf{f}$ 在 $p$ 点可微，那么这一点的导数可由 ${\mathbf{J}}_{\mathbf{f}}(p)$ 给出。在这种情况下，${\mathbf{J}}_{\mathbf{f}}$