数值优化-BFGS

数值优化-BFGS

根据前文的拟牛顿法，我们希望求得矩阵 $B$ 来近似海森阵的逆，从而还原出海森阵中的曲率信息，满足
$$\Delta x\approx B^{k+1}\Delta g,M^{k+1}{B}^{k+1}=I$$
因为满足要求的矩阵有无数多个，因此通过构建优化问题，来求得一个最优的 $B$：
$$\begin{array}{c}{\min }_B{\Vert H^{\frac{1}{2}}\left(B-B^k\right)H^{\frac{1}{2}}\Vert }^2\\ \begin{array}{rl}\text{ s.t. }B& =B^{\mathrm{T}}\\ \Delta x& =B\Delta g\end{array}\\ H={\int }_0^1{\nabla }^{2}f\left[(1-\tau )x^k+\tau x^{k+1}\right]d\tau \end{array}$$

BFGS更新

我们可通过BFGS更新公式来求得满足要求的矩阵 $B$：
$$\begin{array}{rl}& B^{k+1}=\left(I-\frac{\Delta x\Delta g^T}{\Delta g^T\Delta x}\right)B^k\left(I-\frac{\Delta g\Delta x^T}{\Delta g^T\Delta x}\right)+\frac{\Delta x\Delta x^T}{\Delta g^T\Delta x}\\ & B^0=I,\Delta x=x^{k+1}-x^k,\Delta g=\nabla f\left(x^{k+1}\right)-\nabla f\left(x^k\right)\end{array}$$
这样， $M=B^{-1}$ 即为海森阵的逆矩阵的近似，且满足：

• 无需求二阶导数
• 线性方程组有闭式解（求出 $B$ 后，即可直接求出 $d=-Bg$）
• 轻量，便于存储（$O(n^2)$）
• 保证下降方向
• 包含曲率信息

为了保证下降方向，$B=M^{-1}$ 需正定。
我们可以证明：若满足
$$\Delta g^{\top }\Delta x>0$$
则BFGS更新可以保留 $B$ 的正定。
证明见文章末尾。

BFGS用于严格凸的光滑函数

对于严格凸函数，
$$⟨y-x,\nabla f(y)-\nabla f(x)⟩>0\Rightarrow \Delta g^{\top }\Delta x>0$$
因此一定能保证 $d$ 为下降方向。
用于严格凸函数的BFGS算法如下：
$$\begin{array}{rl}& \text{initialize}{x}^0,g^0\leftarrow f(x^0),B^0\leftarrow I,k\leftarrow 0\\ & \text{while}\Vert g^k\Vert >\delta \text{do}\\ & d\leftarrow -B^k{g}^k\\ & t\leftarrow \text{backtracking line serach (Armijo)}\\ & x^{k+1}\leftarrow x^k+td\\ & g^{k+1}\leftarrow \nabla f(x^{k+1})\\ & B^{k+1}\leftarrow \text{BFGS}(B^k,g^{k+1}-g^k,x^{k+1}-x^k)\\ & k\leftarrow k+1\\ & \text{end while}\\ & \text{return}\end{array}$$

BFGS用于非凸函数

对于非凸函数，我们可以在线搜索中使用 Wolfe Condition 来保证 $\Delta g^{\top }\Delta x>0$，从而保证下降方向：
$$\text{Wolfe}\to \Delta g^T\Delta x>0\to B\text{ is PD}\to d\text{ 为下降方向}$$

Wolfe Condition

weak wolfe condition

给定参数 $0<c_1<$