[工程优化]牛顿法的缺陷及拟牛顿法(Newton‘s method)：DFP\BFGS\L-BFGS【附python代码实现】

---

引用

Wikipedia:Quasi-Newton method

• 下文中的出现的所有源代码，由于码云的链接非注册用户无法查看，因此备份了一下代码文件到Gist上。点此查看

---

Preliminaries

跟上一篇一样，要读懂这些内容，需要掌握以下内容：

梯度

1. 对于一维函数$f(x)$，其导数定义为：
   $$f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$
2. 对于多维函数$f(x_1,...,x_n)$，对$x_i$求导数$\frac{df}{d{x}_i}$，将其记为偏导数$\frac{\partial f}{\partial x_I}$。特别的，记录梯度$▽f(x)$或简记为$▽f$为对$x_i$求偏导后的列向量：
   $$▽f(x)=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_1}{)}^T$$

海森矩阵(Hessian matrix)

1. 若存在$f:{\mathbb{R}}^n\to \mathbb{R}$，即一个多维输入$x\in \mathbb{R}$到一维输出的映射，若其在任意维度上都二阶可导，则定义其海森矩阵：
   $$H=\left[\begin{array}{cccc}\frac{\partial f^2}{\partial x_1^2}& \frac{\partial f^2}{\partial x_1\partial x_2}& \cdots & \frac{\partial f^2}{\partial x_1\partial x_n}\\ \frac{\partial f^2}{\partial x_2\partial x_1}& \frac{\partial f^2}{\partial x_2^2}& \cdots & \frac{\partial f^2}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial f^2}{\partial x_n\partial x_1}& \frac{\partial f^2}{\partial x_n\partial x_2}& \cdots & \frac{\partial f^2}{\partial x_n^2}\end{array}\right]$$

显然 ，$H^T=H$、$H$ 的尺寸为 $n\times n$。

雅可比矩阵(Jacobian matrix)

若存在$f:{\mathbb{R}}^n\to {\mathbb{R}}^m$，即一个多维输入$x\in {\mathbb{R}}^n$到多维输出$f(x)\in {\mathbb{R}}^m$的映射，则$f$的雅可比矩阵：
$$\begin{array}{rl}J& =[\frac{\partial f}{\partial x_1}\frac{\partial f}{\partial x_2}\cdots \frac{\partial f}{\partial x_n}]\\ & =\left[\begin{array}{ccc}\frac{\partial f_1}{\partial x_1}& \cdots & \frac{\partial f_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_m}{\partial x_1}& \cdots & \frac{\partial f_m}{\partial x_n}\end{array}\right]\end{array}$$

显然，雅可比矩阵的尺寸为$n\times m$，$J_{}$