数值优化（Numerical Optimization）学习系列-拟牛顿方法（Quasi-Newton）

概述

拟牛顿方法类似于最速下降法，在每一步迭代过程中仅仅利用梯度信息，但是通过度量梯度之间的变化，能够产生超线性的收敛效果。本节主要学习一下知识点：
1. 拟牛顿方程推导
2. 几个常见的拟牛顿方法
3. 拟牛顿方法的收敛性

拟牛顿方程

拟牛顿方法既有线搜索的影子也有牛顿方法的思想，下面从两个角度分别介绍拟牛顿方程，即在拟牛顿方法中要遵循的一个原则。

线搜索角度

假设在第K步迭代过程中，对点$x_k$进行建模

$$m_k(p)=f_k+\nabla f_k^T+\frac12 p^TB_kp$$ ，这是一个相对标准的建模过程，在点x_k处寻找下一个搜索方向。该模型满足 $m_k(0)=f_k ; \ \nabla m_k(0)=\nabla f_k^T$。
此时如果B为正定矩阵，则最优解为 $p_k=-B_k^{-1}\nabla f_k$。则下一个迭代值 $x_{k+1}=x_k+\alpha_kp_k$.
问题来了如何构造有效的 $B_k$呢，如果选择Hessian矩阵该方法就为线搜索的牛顿方法。
高人就想出了通过当前点和上一步的搜索点构造该矩阵的方法， 需要满足模型m和目标函数f在$x_k, x_{k+1}$保持梯度一致。

此时在$x_{k+1}$处的模型为

$$m_{k+1}(p)=f_{k+1}+\nabla f_{k+1}^T+\frac12 p^TB_{k+1}p$$ ，需要满足 $x_k，x_{k+1}$梯度一致。则有 $$\nabla m_{k+1}(x_{k+1})=\nabla f_{k+1} \\ \nabla m_{k+1}(x_{k})=\nabla f_{k}$$ 等价于 $$\nabla m_{k+1}(0)=\nabla f_{k+1} \\ \nabla m_{k+1}(-\alpha_k p_k)=\nabla f_{k}$$ 从而有 $$\nabla m_{k+1}(-\alpha_k p_k)=\nabla f_{k+1}-\alpha_kB_{k+1}p_k=\nabla f_{k}$$ 。根据 xk