拟牛顿法 java_拟牛顿法 分析与推导

针对牛顿法中海塞矩阵的计算问题，拟牛顿法主要是使用一个海塞矩阵的近似矩阵来代替原来的还塞矩阵，通过这种方式来减少运算的复杂度。其主要过程是先推导出海塞矩阵需要满足的条件，即拟牛顿条件(也可以称为拟牛顿方程)。然后我们构造一个满足拟牛顿条件的近似矩阵来代替原来的海塞矩阵。

另外，在满足拟牛顿条件的基础上如何构造近似的海塞矩阵，这有很多种方法，比如：DFP算法，BFGS算法，L-BFGS算法以及Broyden类算法等。本文主要介绍前两种算法构造近似还塞矩阵。

1、拟牛顿条件

那么，如何构造一个近似海塞矩阵呢？即构造出来的近似海塞矩阵需要满足哪些条件呢？为此，我们先来看下牛顿法中的海塞矩阵是如何推导出来的。

在牛顿法中，首先对函数f(x)在x=xk+1处进行泰勒展开，即：

然后对f(x)求偏导：

在牛顿法中，到此步后我们就已经得到了海塞矩阵，然后对f(x)的导数赋值为0，得到x的值。

但是我们这次是为了得到海塞矩阵需要满足的条件，于是我们令x=xk得到：

即：

为了简化下面的符号表达式，令：

于是有：