关于雅克比矩阵与黑塞矩阵

一个非常好的博客：

http://jacoxu.com/jacobian%E7%9F%A9%E9%98%B5%E5%92%8Chessian%E7%9F%A9%E9%98%B5/

关于牛顿法：

参考博客中牛顿发的图，在求函数的根的问题时，即f(x)=0，用函数的一阶导数逼近即可。

相应的，在求极值问题时，即f`(x)=0，用函数的二阶导数才可以逼近。也就是黑塞矩阵了。

求函数极值的问题在推导过程中，可以将函数表达式替换成函数的梯度来推导，这样就跟求根的推导一样了。

雅克比矩阵对应的函数：输入为一个向量，输出也为一个向量，所有输入与所有输出的一阶导数构成一个矩阵。

雅克比矩阵用于求解方程组的解（多个输入，多个输出）

黑塞矩阵对应的函数：输入为一个向量，输出为一个值，这个值关于输入向量中两两组合的二阶导数构成一个矩阵。

更详细的一个推导：http://www.cnblogs.com/tbcaaa8/p/4470909.html