第四章 逐次逼近法-笔记与总结

逐次逼近法

---

4.1解线性方程组的迭代法

简单迭代法

1.Jacobi迭代法：
$A=D-L-U$
$Dx=（L+U）x+b$
$x=D^{-1}(L+U)x+D^{-1}b$
$B_J=D^{-1}(L+U),f=D^{-1}b$
$$x=B_{J}x+f$$
2.Gauss-Seidel迭代法：
$B_G=(D-L{)}^{-1}U,f_G=(D-L{)}^{-1}b$
$$x^{(k+1)}=B_G{x}^{(k)}+f_G,(k=0,1,...)$$

迭代法的收敛性

**定理4.1 **
定理4.2 迭代法 $x^{(k+1)}=B{x}^{(k)}+f$
x和B均收敛的充要条件是$\rho （B）<1$
定理4.3（充分条件）若||B||<1,则迭代法 $x^{(k+1)}=B{x}^{(k)}+f$收敛。
1.Jacobi迭代法收敛：
$B_J=D^{-1}(L+U)$
$$det（\lambda I-B_J）=0$$
得出$\rho （B）$并判断是否>1
2.Gauss-Seidel迭代法收敛：
$B_G=(D-L{)}^{-1}U$
$$det（\lambda I-B_G）=0$$
$$det（\lambda (D-L)-U）=0$$

定义4.1 对角占优，严格对角占优
定理4.4 若Ax=b中A为严格对角占优阵，则Jacobi和Gauss-Seidel法均收敛。

4.2 非线性方程组的迭代解法

4.2.1 简单迭代法

$$x_{k+1}=\phi （x_k）$$
$\phi （x）$为迭代函数，$x_k$为第k步的迭代值。
k趋于无穷时，$x_k$趋于$\alpha$，则称迭代法收敛，否则迭代法收敛。
定理4.5 函数$\phi （x）$满足
（1）当x属于【a，b】时，$a\le \phi （x）\le b$
（2）存在整数$0<L<1$，对任意x属于【a，b】，均有$|{\phi }^{{}^{\prime }}（x）|\le L$
则在【a，b】上存在唯一根$\alpha$，且对任意初始值x₀属于【a，b】，迭代法
$$x_{k+1}=\phi （x_k）$$
收敛于$\alpha$,且
$$|x_k-\alpha |\le \frac{L}{1-L}|x_k-x_{k-1}|$$
$$|x_k-\alpha |\le \frac{L^k}{1-L}|x_1-x_0|$$
局部收敛：
$|{\phi }^{{}^{\prime }}（x）|＜1$
$x_k=\phi （x_{k-1}）$收敛于$\alpha$，,即f（α）=0
定义4.2 p≥1，c＞0,k趋于无穷时
$$lim\frac{|e_{k+1}|}{|e_k|}=c$$
迭代法p阶收敛，当p=1时，称为线性收敛，p＞1时称为超线性收敛，当p=2时称为平方收敛。
p越大，迭代法的收敛速度也越快。
定理4.6 如果$x=\phi (x)$的迭代函数$\phi (x)$在根$\alpha$附近满足：
（1）$\phi (x)$存在p阶导函数且连续；
（2）${\phi }^{\prime }(\alpha )={\phi }^{\prime \prime }(\alpha )=...={\phi }^{p-1}(\alpha )=0,{\phi }^p(\alpha )\ne 0$，则迭代法$x_{k+1}=\phi （x_k）$为p阶收敛。

4.2.2 Newton 迭代法及其变形

定理4.7 设方程$f（x）=0$的根为$\alpha$，且$f^{\prime }（x）\ne 0$，则迭代法
$$x_{k+1}=x_k-\frac{f(x_k)}{f^{\prime }(x_k)}(k=0,1,2,...)$$
至少是平方收敛的，并称该表达式为Newton迭代法（也称切线法）。
由于Newton迭代法带有导数，使用不方便，可用导数的近似值代替导数。
$$f^{\prime }(x_k)\approx \frac{f(x_k)-f(x_{k-1})}{x_k-x_{k-1}}$$
$$x_{k+1}=x_k-\frac{f(x_k)}{f(x_k)-f(x_{k-1})}(x_k-x_{k-1})$$该式为弦截法，弦截法的收敛阶为$p=（1+\sqrt[]{5}）/2=1.618$，低于Newton法，为超线性收敛。
弦截法在几何上是一种以直代曲的近似方法。
初始值的选取与Newton法的收敛很有关系，使用时必须充分注意。
使用Newton法时，为了防止迭代发散，附件一个条件：
$$|f(x_{k+1})|<|f(x_k)|$$
$$x_{k+1}=x_k-\lambda \frac{f(x_k)}{f^{\prime }(x_k)}(0<\lambda \le 1)$$，λ为下山因子，该迭代法为Newton下山法。

4.2.3 多根区间上的逐次逼近法

一、【a，b】是f（x）=0仅有单根的多根区间
（1）求单根区间

（2）在单根区间【c，d】求根

4.3计算矩阵特征问题的幂法

4.3.1 幂法

4.3.2 反幂法

4.4 迭代法的加速

4.4.1 基本迭代法的加速（SOR）

4.4.2 Aitken加速

4.5 共轭梯度法

4.5.1 最速下降法

4.5.2 共轭梯度法（简称CG法）

$x_0=（0,0,0{）}^T$
$r_0=b-A{x}_0=p_0$
${\alpha }_0=\frac{(r_0,r_0)}{(p_0,A{p}_0)}$
$x_1=x_0+{\alpha }_0{p}_0$
$r_1=r_0-{\alpha }_{0}A{p}_0$
${\beta }_0=\frac{(r_1,r_1)}{(r_0,r_0)}$
$p_1=r_1+({\beta }_0,{\beta }_0,{\beta }_0{)}^T$
${\alpha }_1=\frac{(r_1,r_1)}{(p_1,A{p}_1)}$
$x_2=x_1+{\alpha }_1{p}_1$
$r_2=r_1-{\alpha }_{1}A{p}_1=（0,0,0{）}^T$

方程组的解为$x_2$