牛顿法与拟牛顿法总结

1) 牛顿法

• 假设目标函数为$f(x)$

• 牛顿法推导：
  将$f(x)$在$x^k$用泰勒公式二阶展开，得
  $$f(x)=f\left(x^{(k)}\right)+g_k^{\mathrm{T}}\left(x-x^{(k)}\right)+\frac{1}{2}{\left(x-x^{(k)}\right)}^{\mathrm{T}}H\left(x^{(k)}\right)\left(x-x^{(k)}\right)(1)$$
  将上边公式对x求导可得（注意$g_k^{\mathrm{T}}$与$H(x^{(k)})$都是常数项，自变量已经固定为$x^{(k)}$），得到$x=x_k$邻域内的$\nabla f(x)$的近似函数
  $$\nabla f(x)=g_k+H_k\left(x-x^{(k)}\right)(2)$$
  由于$f(x)$ 在$\nabla f(x)=0$的地方得到极值点（假如为凸函数则为最优点），那么直接令$\nabla f(x)$的近似函数(2)等于0即可得到下一次迭代的$x^{(k+1)}$。
  令公式（2）等于0，可得牛顿法的迭代公式$$x^{(k+1)}=x^{(k)}-H_k^{-1}{g}_k(3)$$
  
  

• 牛顿法的一步到位：当$f(x)$的二阶导是常数时，那么对于$\nabla f(x)$的泰勒展开式就完全没有误差，可以一步到位了！
  如当$f(x)=x^2$时，若$x^0=2,g_0=4,H_0^{-1}=0.5$，则$x_1=2-4\times 0.5=0$，直接就迭代到了最优解$x=0$。
  
  

• 更新方向正确性：如果$H_k$是正定的，那么可以保证当前的迭代方向（仅仅是方向，不是具体的迭代量）$p_k=-\lambda g_k$是下降方向。$H_k$正定代表当前梯度的导数在任意基方向都是要增大的。由公式（3）可得
  $$x=x^{(k)}+\lambda p_k=x^{(k)}-\lambda H_k^{-1}{g}_k(4)$$
  将公式（4）代入$f(x)$的一阶泰勒展开公式，可得
  $$f(x)=f\left(x^{(k)}\right)+g_k^{\mathrm{T}}\left(x-x^{(k)}\right)=f\left(x^{(k)}\right)-\lambda g_k^{\mathrm{T}}{H}_k^{-1}{g}_k(5)$$
  由于$H_k$正定因此$H_k^{-1}$也是正定的，若$g_k!=0$可得$g_k^{\mathrm{T}}{H}_k^{-1}{g}_k>0$。当$\lambda$为足够小的正数时$f(x)<f\left(x^{(k)}\right)$。
  
  

• 收敛性分析：与梯度下降比较，可以对梯度下降作类似的分析。梯度下降的更新公式为$x=x^{(k)}-\lambda g_k$，将其代入$f(x)$的一阶泰勒展开公式
  $$f(x)=f\left(x^{(k)}\right)+g_k^{\mathrm{T}}\left(x-x^{(k)}\right)=f\left(x^{(k)}\right)-\lambda g_k^{\mathrm{T}}{g}_k(6)$$
  然后我们发现公式（5）和公式（6）可以近似地表示了牛顿法与梯度下降法的区别。公式（5）和公式（6）只有一个地方有区别，就是牛顿法的迭代量是 $\lambda g_k^{\mathrm{T}}{H}_k^{-1}{g}_k$，而梯度下降的迭代量是 $\lambda g_k^{\mathrm{T}}{g}_k$，区别在于$H_k^{-1}$。
  假设目标函数是一个凸函数。当曲线很平缓的时候，$H_k$会比较小从而$H_k^{-1}$会较大导致加大牛顿法的迭代量。当$H_k$比较大而$H_k^{-1}$比较小的时候曲线比较陡峭，这个时候要走得小心一点慢一点，$H_k^{-1}$比较小导致牛顿法的迭代量也变小了。这就比较好理解，为什么牛顿法会比梯度下降法收敛得更加快了！

2）拟牛顿法

• 牛顿法存在的问题：由牛顿法的更新公式（3）可知，每次迭代的时候都需要去算二阶导矩阵hessian矩阵的逆矩阵，这个操作非常复杂。
• 由公式（2）可以推出
  $$g_{k+1}-g_k=H_k\left(x^{(k+1)}-x^{(k)}\right)(7)$$
  令$y_k=g_{k+1}-g_k$，${\delta }_k=x^{(k+1)}-x^{(k)}$，则
  $$H_k^{-1}{y}_k={\delta }_k(8)$$
  公式（8）又称为拟牛顿条件。
• 拟牛顿法用一个n阶矩阵$G_k$来代替$H_k^{-1}$。拟牛顿法对于$G_k$进行迭代运算
  $$G_{k+1}=G_k+\Delta G_k(9)$$

1. DFP(Davidon-Fletcher-Powell)算法

• 算法：DFP选择用两个附加项来迭代更新
  $$G_{k+1}=G_k+P_k+Q_k(10)$$
  因此可得，$G_{k+1}{y}_k=G_k{y}_k+P_k{y}_k+Q_k{y}_k$。其中$P_k,Q_k$是待定矩阵。为了使$G_k+1$满足拟牛顿条件，要满足
  $$P_k{y}_k={\delta }_k,Q_k{y}_k=-G_k{y}_k(11)$$
• $P_k$与$Q_k$可以这样得到
  $$P_k=\frac{{\delta }_k{\delta }_k^{\mathrm{T}}}{{\delta }_k^{\mathrm{T}}{y}_k}，Q_k=-\frac{G_k{y}_k{y}_k^{\mathrm{T}}{G}_k}{y_k^{\mathrm{T}}{G}_k{y}_k}(12)$$
• 停止条件：一般为一阶导数小于某个阈值或者迭代次数达到一定代数
• 正定：如果初始矩阵$G_0$是正定的，则迭代过程中的每个$G_k$都是正定的

2. BFGS（Broyden-Fletcher-Goldfarb-Shanno）算法

• 定义：与DFP算法不同，BFGS直接用$B_k$逼近hessian矩阵$H$（DFP用$G_k$来逼近$H_k^{-1}$）。BDGS对应的牛顿条件为
  $$B_{k+1}{\delta }_k=y_k$$
• 拟合方法：与DFP类似，使用$B_{k+1}=B_k+P_k+Q_k$，应满足$P_k{\delta }_k=y_k,Q_k{\delta }_k=-B_k{\delta }_k$。$P_k,Q_k$可以这样得出
  $$P_k=\frac{y_k{y}_k^{\mathrm{T}}}{y_k^{\mathrm{T}}{\delta }_k}，Q_k=-\frac{B_k{\delta }_k{\delta }_k^{\mathrm{T}}{B}_k}{{\delta }_k^{\mathrm{T}}{B}_k{\delta }_k}(12)$$
• 正定：如果初始矩阵$B_0$是正定的，则迭代过程中的每个$B_k$都是正定的