数值优化-拟牛顿法

数值优化——拟牛顿法

收敛速度

定义误差 $$e^k=x^k-x^{\ast }$$
为第 $k$ 次迭代的结果与最优解 $x^{\ast }$ 的差，则收敛速度可分为

• 线性收敛：$\Vert e^{k+1}\Vert =C\Vert e^k\Vert$ （梯度下降法）
• 超线性收敛：$\Vert e^{k+1}\Vert =C{\Vert e^k\Vert }^p,p>1$
• 平方收敛：$\Vert e^{k+1}\Vert =C{\Vert e^k\Vert }^2$ （牛顿法）

拟牛顿的近似

对于正定的海森阵 $H$，牛顿法通过泰勒展开近似原函数:
f ( x ) − f ( x k ) ≈ ( x − x k ) T g k + 1 2 ( x − x k ) T H k ( x − x k ) Solve  H k d k = − g k \begin{array}{c} f(x)-f\left(x^k\right) \approx\left(x-x^k\right)^T g^k+\frac{1}{2}\left(x-x^k\right)^T H^k\left(x-x^k\right) \\ \text{Solve } H^k d^k=-g^k \end{array}