数值计算之 共轭梯度法（2）非线性共轭梯度法

前言

上篇写了线性共轭梯度法，本篇继续非线性共轭梯度法

非线性共轭梯度法

非线性共轭梯度法：

1. $k=0$，通过梯度下降法初始化$x_0,r_0=\nabla f(x_0),p_0=-r_0$
2. 迭代到$k$轮，判断收敛条件，如果不满足则进入第3步
3. 通过非精确线搜索计算${\alpha }_k$
4. $x_{k+1}=x_k+{\alpha }_k{p}_k$
5. $r_{k+1}=\nabla f(x_{k+1})$
6. ${\beta }_{k+1}=\frac{r_{k+1}^T{r}_{k+1}}{r_k^T{r}_k}$
7. $p_{k+1}=-r_{k+1}+{\beta }_{k+1}{p}_k$
8. $k=k+1$

以上就是FR-CG法的流程。

为了确保全局收敛性，使用FR-CG法时，要结合Strong Wolfe Condition，并且收敛速度比较慢。

将$\beta$的更新方式进行更换，可以获得收敛速度更快的PR-CG法：
β ^ k + 1 = r k + 1 T ( r k + 1 − r k ) ∣ ∣ r k ∣ ∣ 2 β k + 1 = max ⁡ { β ^ k + 1 , 0 } \hat \beta_{k+1}=\frac {r_{k+1}^T(r_{k+1}-r_{k})}{||r_k||^2} \\ \quad \beta_{k+1}=\max \{\hat\beta_{k+1},0 \} β^​k+1​=∣∣rk​∣∣2rk+1T​(rk+1​−rk​)​βk+1​=max{β^​k+1​,0}