【NA】超松弛迭代法SOR

迭代基本策略.

• 给定线性方程组$$Ax=b$$对其系数矩阵 $A$ 做加性分解$$A=I-B$$ 得到不动点方程组$$x=Bx+d,d=b$$由此得到迭代公式$$x^{(k+1)}=B{x}^{(k)}+d=x^{(k)}+b-A{x}^{(k)}$$记$$r^{(k)}=b-A{x}^{(k)}$$代表着第 $k$ 次迭代近似解 $x^{(k)}$ 的偏差，因此上述迭代公式写为$$x^{(k+1)}=x^{(k)}+r^{(k)}\text{\hspace{1em}(1)}$$上式理解为每次迭代使用余量 $r^{(k)}$ 来改进当前近似解 $x^{(k)}$ 以得到下一次近似解 $x^{(k+1)}.$ 为了加快收敛速度，可以考虑对余量 $r^{(k)}$ 乘上一个松弛因子 $\omega$ 来加大其修正比重，这样做的目的是希望下一次近似解 $x^{(k+1)}$ 更接近精确解 $x^{\ast }$，于是得到加速迭代公式$$x^{(k+1)}=x^{(k)}+\omega \cdot r^{(k)}\text{\hspace{1em}(2)}$$此时的加速公式对每一个余量分量乘以同一个数标量 $\omega$，考虑将其推广到更一般的形式$$x^{(k+1)}=x^{(k)}+\omega \cdot P\cdot r^{(k)}\text{\hspace{1em}(3)}$$此时该公式还采用同步迭代方式，可以看出取 $\omega =1,P=D^{-1}$ 时，$(3)$ 式即为Jacobi迭代法。实际中更多的是采用异步迭代方式，即异步余量$$r^{(k)}=b-L{x}^{(k+1)}-(D+U)x^{(k)}$$此时迭代公式依旧形如 $(3)$ 式，将异步余项代入得到$$x^{(k+1)}=x^{(k)}+\omega \cdot P\cdot \left(b-L{x}^{(k+1)}-(D+U)x^{(k)}\right)\text{\hspace{1em}(4)}$$不难看出，取 $\omega =1,P=D^{-1}$ 时，$(4)$ 式即为Gauss-Seidel迭代法。若在 $(4)$ 式中只固定 $P=D^{-1}$，则得到逐次超松弛迭代法$$x^{(k+1)}=x^{(k)}+\omega \cdot D^{-1}\cdot \left(b-L{x}^{(k+1)}-(D+U)x^{(k)}\right)\text{\hspace{1em}(5)}$$分量形式为$$x_i^{(k+1)}=x_i^{(k)}+\frac{\omega }{a_{ii}}\left(b_i-\sum _{j=1}^{i-1}{a}_{ij}{x}_j^{(k+1)}-\sum _{j=i}^n{a}_{ij}{x}_j^{(k)}\right)\text{\hspace{1em}(6)}$$
• 逐次超松弛迭代法，英译Successive Over Relaxation Method，简称SOR法，当 $\omega >1$ 时 $(5)$ 式称为超松弛法。SOR法是求解大型稀疏方程组的有效方法之一，并且我们可以发现，SOR、Jacobi、Gauss-Seidel迭代法实际可以做到代码共享。

SOR收敛性.

• 将SOR迭代公式 $(5)$ 改写为一般迭代式 $x^{(k+1)}=H{x}^{(k)}+g$ 得到$$x^{(k+1)}=(D+\omega \cdot L{)}^{-1}\left[(1-\omega )D-\omega U\right]\cdot x^{(k)}+(D+\omega \cdot L{)}^{-1}\omega \cdot b\text{\hspace{1em}(7)}$$其迭代矩阵$$H=(D+\omega \cdot L{)}^{-1}\left[(1-\omega )D-\omega U\right]=L_{\omega }$$根据《迭代法的收敛性》中给出的迭代法收敛充要条件可知，$(7)$ 式收敛的充要条件是$$\rho (L_{\omega })<1$$

SOR收敛必要条件.

• 给定线性方程组$$Ax=b,a_{ii}\ne 0,i=1,2,...,n$$若SOR迭代法收敛，则必然有$$0<\omega <2$$
• 【证明】因为SOR迭代法收敛，所以其迭代矩阵的谱半径 ρ ( L ω ) = m a x { λ i } < 1 \rho(L_{\omega})=max\{\lambda_i\}<1 ρ(Lω​)=max{λi​}<1，因此$$|det(L_{\omega })|=\left|\prod _{i=1}^n{\lambda }_i\right|\le [\rho (L_{\omega }){]}^n$$上述不等式两边同时开 $n$ 次方根，得到$$|det(L_{\omega }){|}^{\frac{1}{n}}\le \rho (L_{\omega })<1$$因为$$det(L_{\omega })=det[(D+\omega \cdot L{)}^{-1}]\cdot det[(1-\omega )D-\omega U]\text{\hspace{1em}(*)}$$分别考察矩阵 $L,D,U$ 的形状：$$L=\left[\begin{array}{cccc}0& 0& \cdots & 0\\ a_{21}& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & 0\end{array}\right]D=\left[\begin{array}{cccc}{a}_{11}& 0& \cdots & 0\\ 0& a_{22}& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & a_{nn}\end{array}\right]U=\left[\begin{array}{cccc}0& a_{12}& \cdots & a_{1n}\\ 0& 0& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 0\end{array}\right]$$根据三角阵行列式等于其主对角线元素之积，得到 $(\ast )$ 式的结果如下：$$det(L_{\omega })={\left(\prod _{i=1}^n{a}_{ii}\right)}^{-1}(1-\omega {)}^n{\left(\prod _{i=1}^n{a}_{ii}\right)}^{-1}=(1-\omega {)}^n$$因此$$-1<(1-\omega {)}^n<1$$$$0<\omega <2$$
• 上述定理的意义在于指明了松弛因子 $\omega$ 的范围只有在 $(0,2)$ 内SOR迭代法才可能收敛。

特殊矩阵.

• 和在Jacobi迭代法、Gauss-Seidel迭代法中讨论的一样，SOR迭代法某种意义上作为前两种迭代法更一般化的方式，对于具有特殊结构的矩阵——正定阵、对角占优阵，在收敛性方面也会有所体现。
• 【回顾】系数矩阵是对角占优阵时，Jacobi迭代法、Gauss-Seidel迭代法都收敛。
• 系数矩阵是正定阵时，Gauss-Seidel迭代法收敛。
• 系数矩阵 $A$ 以及矩阵 $2D-A$ 都是正定阵时，Jacobi迭代法收敛。

正定阵.

• 【定理】系数矩阵 $A$ 为正定阵，且松弛因子 $0<\omega <2$ 时，SOR迭代法收敛。
• 【证明】欲证明SOR迭代法收敛，只需要证明迭代矩阵任意特征值的模 $<1$ 即可，设 $\lambda$ 是迭代矩阵 $L_{\omega }$ 的任一特征值，对应的特征向量为 $y$，有$$\lambda y=L_{\omega }\cdot y,y=(y_1,y_2,...,y_n{)}^T\ne 0$$带入 $L_{\omega }$ 的具体形式，得到$$[(1-\omega )D-\omega U]y=\lambda (D+\omega L)y$$两边同时做内积 $(●,y)$ 得到$$([(1-\omega )D-\omega U]y,y)=(\lambda (D+\omega L)y,y)$$解得$$\lambda =\frac{(Dy,y)-\omega (Dy,y)-\omega (Uy,y)}{(Dy,y)+\omega (Ly,y)}\text{\hspace{1em}(**)}$$因为系数矩阵 $A$ 是正定阵，所以 $$a_{kk}=\frac{D_k}{D_{k-1}}>0$$因此 $$(Dy,y)=\sum _{i=1}^n{a}_{ii}|y_i{|}^2\equiv \sigma >0$$再考察矩阵 $L,U$ 的结构，当 $A$ 是正定阵时，$L=U^T$，因此$$(Uy,y)=y^{T}Uy=y^T{L}^{T}y=(y,Ly)=\overline{(Ly,y)}$$记$$(Ly,y)=a+bi=(a,b)$$那么$$(Uy,y)=(a,-b)$$至此 $(\ast \ast )$ 可以写为$$\lambda =\frac{(1-\omega )\sigma -\omega (a,-b)}{\sigma +\omega (a,b)}=\frac{\sigma -\omega \sigma -a\omega +ib\omega }{(\sigma +a\cdot \omega )+ib\omega }$$对 $\lambda$ 取模方得到 $$|\lambda {|}^2=\frac{(\sigma -\omega \sigma -a\omega {)}^2+b^2{\omega }^2}{(\sigma +a\cdot \omega {)}^2+b^2{\omega }^2}$$分子分母做差得到$$\Delta =(\sigma -\omega \sigma -a\omega {)}^2-(\sigma +a\cdot \omega {)}^2=(2\sigma -\omega \sigma )(-\omega \sigma -2a\omega )=\sigma (\omega -2)\omega (\sigma +2a)\text{\hspace{1em}(8)}$$根据 $A$ 是正定矩阵，有$$(Ay,y)=[(L+D+U)y,y]=(Ly,y)+(Dy,y)+(Uy,y)=\sigma +2a>0$$再根据 $0<\omega <2$ 可以判定 $(8)$ 式的正负性$$\Delta <0$$即$$|\lambda {|}^2<1$$$$|\lambda |<1$$$$\rho (L_{\omega })<1$$
• 再次说明，当 $\omega =1$ 时，SOR迭代法退化为Gauss-Seidel迭代，因此上述证明也可以用于证明Gauss-Seidel迭代法对于系数矩阵是正定阵时收敛性证明。

对角占优阵.

• 【定理】系数矩阵 $A$ 为按行严格对角占优阵，且松弛因子 $0<\omega \le 1$ 时，SOR迭代法收敛。
• 【不等式】对于 $0<\omega \le 1$，$|\lambda |\ge 1$，有下述不等式成立$$|\lambda -1+\omega |\ge |\lambda |\omega \ge \omega \text{\hspace{1em}(9)}$$
• 【证明】考虑 $$0=det(L_{\omega })=det[(D+\omega L{)}^{-1}]\cdot det[\lambda (D+\omega L)-[(1-\omega )D-\omega U]]$$因为$$det[(D+\omega L{)}^{-1}]\ne 0$$所以$$det[\lambda (D+\omega L)-[(1-\omega )D-\omega U]]=0$$因为 $A$ 是按行严格对角占优矩阵，所以有$$|a_{ii}|>\sum _{j\ne i}^n|a_{ij}|$$构造函数 $$f(M,i)=\sum _{j\ne i}^n|m_{ij}|$$那么上述严格对角占优不等式可以写为$$|a_{ii}|>f(A,i)=f(L,i)+f(U,i)\text{\hspace{1em}(10)}$$假定迭代矩阵 $L_{\omega }$ 有一个特征值满足 $|\lambda |>1$，那么有不等式 $(9)$ 成立$$|\lambda -1+\omega |\ge |\lambda |\omega$$在不等式 $(10)$ 的左右两端分别乘以不等式 $(9)$ 的左右两端，不等号方向不变$$|\lambda -1+\omega |\cdot |a_{ii}|>(|\lambda |\cdot \omega )\cdot [f(L,i)+f(U,i)]>|\lambda |\cdot \omega \cdot f(L,i)+\omega \cdot f(U,i)=f(\lambda \omega L,i)+f(\omega U,i)$$将上述不等式最左端整理成下面的形式$$f(\lambda \omega L,i)+f(\omega U,i)=f(\lambda \omega L+\omega U,i)=f((\lambda -1+\omega )D+\lambda \omega L+\omega U,i)$$于是我们得到下面的不等式$$|\lambda -1+\omega |\cdot |a_{ii}|>f((\lambda -1+\omega )D+\lambda \omega L+\omega U,i)\text{\hspace{1em}(11)}$$不等式 $(11)$ 说明矩阵 $(\lambda -1+\omega )D+\lambda \omega L+\omega U$ 是按行严格对角占优矩阵，所以不可能满足$$det[\lambda (D+\omega L)-[(1-\omega )D-\omega U]]=0$$矛盾出现，因此迭代矩阵 $L_{\omega }$ 的所有特征值模都小于1，从而有 $$\rho (L_{\omega })<1$$SOR迭代法在此情况下收敛。

---

• 【补充说明】关于不等式 $(9)$，分 $\lambda =1,\lambda <-1,\lambda >1$ 三种情况，很容易验证其正确性。