最优化算法(三)

牛顿方法

牛顿方法是现在用的比较广泛的最优化算法之一，其特点是收敛速度较快，上一节的梯度下降和随机梯度下降都是一阶收敛，而牛顿方法是二阶收敛。
回忆高等数学里面介绍的二阶泰勒展开有

$$Q(x)=f(x_0)+\nabla f(x_0)(x-x_0)+\frac{(x-x_0)^2}{2!}\nabla ^2f(x_0)$$
而 $Q(x)$取到极值的条件，也就是最优化条件是 $\nabla Q(x)=0$，可得 $$\nabla f(x_k)+\nabla ^2f(x_k)(x-x_k)=0$$ $$x_{k+1}=x_k-(\nabla^2 f(x_k))^{-1}\nabla f(x_k)$$ $$x_{k+1}=x_k-H_k^{-1}g_k$$ 其中 $H_k=\nabla^2 f(x_k),g_k=\nabla f(x_k)$,可以看到牛顿方法在迭代中不但使用了梯度，而且使用了二阶的hessian矩阵。

收敛性分析

假设$f(x)$是二阶可导，强凸，并且Hessian的有界，并且在最优解附近的Lipschitz continuous常数是M，另外$\begin{Vmatrix}\nabla^2 f(x)^{-1}\end{Vmatrix} \le N$，最优解为$x^*$则
由于

$$\nabla f(x_t) - \nabla f(x^*)=\int_0^1\nabla^2 f(x_t+t(x^*-x_t))(x_t-x^*) \, dx$$ 而 $$x_{t+1}-x^*=x_t-x^*-\nabla^2 f(x_t)(x_t-x^*)=\nabla^2 f(x_t)^{-1}[\nabla^2f(x_t)(x_t-x^*)-(\nabla f(x_t)-\nabla f(x^*))]$$
使用上面两式还有Lipschitz continuous可得
$$\begin{Vmatrix} \nabla f(x_t) - \nabla f(x^*) - \nabla^2 f(x_t)(x_t-x^*)\end{Vmatrix}=\begin{Vmatrix}\int_0^1[\nabla^2 f(x_t+t(x^*-x_t))-\nabla^2 f(x_t)](x_t-x^*) \,dx\end{Vmatrix}$$
$$=\int_0^1 \begin{Vmatrix} \nabla^2f(x_t+t(x^*-x_t)) -\nabla^2f(x_t)\end{Vmatrix} \begin{Vmatrix} x_t - x^* \end{Vmatrix} \, dx\le\begin{Vmatrix} x_t - x^*\end{Vmatrix}\int_0^1 Mt\, dx=\frac{M}{2}\begin{Vmatrix}x_t-x^*\end{Vmatrix}^2$$
因此可得
$$\begin{Vmatrix}x_{t+1}-x^*\end{Vmatrix}\le \frac{MN}{2}\begin{Vmatrix}x_t - x^*\end{Vmatrix}^2$$

拟牛顿方法

牛顿方法中需要每一步去求解hessian矩阵的逆矩阵是一个计算复杂度较高的操作，所以就出现了拟牛顿方法。拟牛顿方法就是通过近似的方法来求解hessian矩阵或其逆矩阵。具体的由于当$x=x_{k+1}$时

$$\nabla f(x_{k+1})-\nabla f(x_k)=H_k(x_{k+1}-x_k)$$
其中 $H_k=\nabla^2 f(x)_k$，记 $y_k=g_{k+1}-g_k,s_k=x_{k+1}-x_k$得: $$y_k=H_ks_k$$ 或 $$H_k^{-1}y_k=s_k$$
以上称为拟牛顿条件
如果 $H_k$是正定的话，可以保证牛顿方法的搜索方向 $p_k$是下降方向，因为hessian矩阵正定的话，由更新迭代的公式可以知道 $H_k^{-1}g_k$的方向和梯度 $g_k$的方向一致(当目标函数为凸时)，并且 $$x=x_k-\lambda H_k^{-1}g_k$$ 代入泰勒展开公式中得 $$f(x)=f(x_k)-\lambda g_k^TH_k^{-1}g_k$$ 当 $\lambda$为充分小时，可以保证目标函数递减。
拟牛顿方法用 $G_k$作为 $H_k^{-1}$的近似，要求矩阵 $G_k$满足同样的条件，第一， $G_k$是正定的，第二,满足拟牛顿条件。并且每次迭代中选择更新矩阵 $G_{k+1}$如下 $$G_{k+1}=G_k+\Delta G_k$$
BFGS的方法是通过 $B_k$去逼近hessian矩阵 $H_k$相应的拟牛顿条件为 $$B_{k+1}s_k=y_k$$ 并且通过上面的Hessian矩阵更新公式 $$B_{k+1}=B_k+P_k+Q_k$$ $$B_{k+1}s_k=B_ks_k+P_ks_k+Q_ks_k$$ 且 $P_k$ $Q_k$满足如下条件: $$P_ks_k=y_k$$ $$Q_ks_k=-B_ks_k$$ 找出适合条件的 $P_k$和 $Q_k$,得到BFGS算法矩阵 $B_{k+1}$的迭代公式: $$B_{k+1}=B_k+\frac{y_ky_k^T}{y_k^Ts_k}-\frac{B_ks_ks_k^TB_k}{s_k^TB_ks_k}$$ 可以证明初始矩阵 $B_0$为正定的时候， $B_k$也是正定矩阵。

L-BFGS

拟牛顿方法中减少求逆的时间复杂度，但是又面临另外的一个问题，就是当原问题是一个高维问题时，Hessian矩阵的存储成了一个大的问题，因此有了L-BFGS算法，L-BFGS算法的思想是通过最近的m次$s_k$和$y_k$来近似计算下降方向，并且不用去存储整个Hessian矩阵。具体的推导不介绍了，算法伪代码如下：