Jacobian矩阵和Hessian矩阵---雅克比和黑森

综述：

 

 

1. Jacobian

向量分析中,雅可比矩阵是一阶偏导数以一定方式排列成的矩阵。在代数几何中, 代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群, 曲线可以嵌入其中。

雅可比矩阵

雅可比矩阵体现了一个可微方程与给出点的最优线性逼近，雅可比矩阵类似于多元函数的导数.。

雅可比行列式

如果m = n, 那么FF是从n维空间到n维空间的函数, 且它的雅可比矩阵是一个方块矩阵. 于是我们可以取它的行列式, 称为雅可比行列式.

如果连续可微函数FF在pp点的雅可比行列式不是零, 那么它在该点附近具有反函数. 这称为反函数定理；如果pp点的雅可比行列式是正数, 则FF在pp点的取向不变；如果是负数, 则FF的取向相反；雅可比行列式的绝对值, 就可以知道函数FF在pp点的缩放因子。

对于取向问题可以这么理解, 例如一个物体在平面上匀速运动, 如果施加一个正方向的力FF, 即取向相同, 则加速运动, 类比于速度的导数加速度为正；如果施加一个反方向的力FF, 即取向相反, 则减速运动, 类比于速度的导数加速度为负.

2. 海森Hessian矩阵

在数学中, 海森矩阵(Hessian matrix或Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵, 此函数如下：

 

海森矩阵被应用于牛顿法解决的大规模优化问题.

海森矩阵在牛顿法中的应用

一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化.

1), 求解方程

并不是所有的方程都有求根公式, 或者求根公式很复杂, 导致求解困难. 利用牛顿法, 可以迭代求解。

原理是利用泰勒公式, 在x0x0处展开, 且展开到一阶, 即f(x)=f(x0)+(x–x0)f′(x0)f(x)=f(x0)+(x–x0)f′(x0)

2), 最优化

在最优化的问题中, 线性最优化至少可以使用单纯形法(或称不动点算法)求解,。但对于非线性优化问题, 牛顿法提供了一种求解的办法.。假设任务是优化一个目标函数ff, 求函数ff的极大极小问题,。可以转化为求解函数ff的导数f′=0f′=0的问题, 这样求可以把优化问题看成方程求解问题(f′=0f′=0). 剩下的问题就和第一部分提到的牛顿法求解很相似了.

 

一般认为牛顿法可以利用到曲线本身的信息, 比梯度下降法更容易收敛（迭代更少次数）, 如下图是一个最小化一个目标方程的例子, 红色曲线是利用牛顿法迭代求解, 绿色曲线是利用梯度下降法求解.

 

其中H是hessian矩阵, 定义见上. 

高维情况依然可以用牛顿迭代求解, 但是问题是Hessian矩阵引入的复杂性, 使得牛顿迭代求解的难度大大增加, 但是已经有了解决这个问题的办法就是Quasi-Newton method, 不再直接计算hessian矩阵, 而是每一步的时候使用梯度向量更新hessian矩阵的近似。

https://www.cnblogs.com/wangyarui/p/6407604.html