雅克比矩阵 海森矩阵 牛顿法

雅可比矩阵是以一阶偏导数以一定方式排列成的矩阵，其行列式称为雅可比行列式。

雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近。因此，雅可比矩阵类似于多元函数的导数。

海森矩阵是一个以自变量为向量的实值函数的二阶偏导数组成的方块矩阵。

此函数如下，f（x1,x2,...,xn）如果f的所有二阶导数都存在，那么f的海森矩阵即：

海森矩阵在牛顿法中的应用：

一般来说，牛顿法主要应用在两个方面：1.求方程的根；2.最优化

1.求方程的根

并不是所有的方程都有求根公式，或者求根公司很复杂，导致求解困难。利用牛顿法，可以迭代求解。

原理是利用泰勒公式，在x0处展开，且展开到一阶，即f(x)=f(x0)+(x-x0)f'(x0)

求解方程f(x)=0,即f(x0)+(x-x0)f'(x0)=0,求解x=x1=x0-f(x0)/f'(x0),因为这是利用泰勒公式的一阶展开，f(x) = f(x0)+(x-x0)f'(x0)处并不完全相等，而是近似相等，这里求得的x1并不能让f(x)=0,只能说f(x1)比f(x0)更接近f(x)=0.于是，迭代求解的想法就很自然了，进而可以推出xn+1=xn-f(xn)/f'(xn).通过迭代，这个式子必然是在f(x*)=0处收敛。

最优化：

在最优化问题中，对于非线性优化问题，牛顿法提供了一种求解的方法。假设任务是把优化一个目标函数f，求解函数f的极大极小问题。可以转化为求解函数f的导数f'(x)=0,这样求可以把优化问题看成方程求解问题(f'=0).剩下的问题就和第一部分提到的牛顿法求解很相似了。

一般认为，牛顿法利用了曲线本身的信息，比梯度下降更容易收敛（迭代次数更少）。

上面是讨论的是2维的情况，高维情况的牛顿迭代公式为：