优化问题综述(二)其他无约束最优化算法

无约束最优化问题的解法

我们希望得到$min_x f(x)$，我们把$f(x)$泰勒展开可得

$$f(x+\Delta)=f(x)+\nabla f(x)^T\Delta+\frac{1}{2}\Delta^T \nabla^2 f(x)\Delta+O(\Delta^3)$$

牛顿法

当$\nabla^2 f(x)$已知时，对$f(x+\Delta)$求导，令倒数为0，可得

$$\Delta = -[\nabla^2 f(x)]^{-1}\nabla f(x)$$

那么我们可以通过迭代公式

$$x_{t+1}=x_t-[\nabla^2 f(x)]^{-1}\nabla f(x)$$

求解最优化问题，有时我们加个小于1的阻尼系数来增加算法的稳定性（阻尼牛顿法）：

$$x_{t+1}=x_t-\eta[\nabla^2 f(x)]^{-1}\nabla f(x)$$

牛顿法的缺点也很明显：

• $\nabla^2 f(x)$不容易求
• $\nabla^2 f(x)$的逆不容易求
• $\nabla^2 f(x)$太占空间

拟牛顿法

由牛顿法可知，$x$每步的前进方向$\Delta$满足$\nabla f(x)=\Delta \nabla^2 f(x)$，且$\nabla f(x_{t+1}) \approx \nabla f(x_t)+\nabla^2 f(x_t)[x_{t+1}-x_t]$。
替代变量$B_{t+1}=\nabla^2 f(x_t), D_{t+1}=[\nabla^2 f(x_t)]^{-1}$，再令$s_t=x_{t+1}-x_t,y_t=\nabla f(x_{t+1})-\nabla f(x_t)$，那么有：

• $y_t=B_{t+1}s_t$
• $s_t=D_{t+1}y_t$

令$D_{t+1}=D_t+\Delta D_t=D_t+P_t+Q_t$，那么

$$D_{t+1}y_t=D_ty_t+P_ty_t+Q_ty_t$$

令$P_ty_t=-D_ty_t,Q_ty_t=s_t$，我们有

Pt=−DtytyTtDTtyTtDTtyt,Q