【数学】对向量的求导和Jacobian矩阵的几何意义与Hessian矩阵

算是上一篇【数学】均匀分布生成其他分布的方法的一个数学基础补遗吧。

函数对向量求导

Jacobian矩阵相当于通用型的函数的一阶导数，Hessian矩阵是一个$R^n \to R$的函数的二阶导数。
这就牵扯到了函数对向量求导的运算，详细的话详见：对向量求导这篇百度文库。
本质上来说，一个函数对(行)向量求导，本质上还是单独为向量的每个元素进行求导的。
比如$R^n \to R$的函数$f(\vec a)$，则其导数【即梯度】为$\nabla f = [ \frac{\partial f}{\partial a_1}, \frac{\partial f}{\partial a_1},\cdots,\frac{\partial f}{\partial a_n}]$，此时其一阶导数就变成一个$R^n \to R^n$的函数
对于$R^n \to R^m$的函数，其可以看成一个长度为m列向量对一个长度为n行向量求偏导。