一般迭代法（一）| 原理公式 + 迭代法的收敛性

一般迭代法

1. 基本原理和迭代公式

先看一个例子。设有两个函数$y=\phi (x)$和$y=x$，欲求其交点$x^{\ast }$。为此，可将函数$y=x$改写成$x=y$的形式，并给定一个初始值$x_0$，并进行如下计算：

（1）先计算函数$y=\phi (x)$在$x_0$处的函数值$y_0$，然后计算函数$x=y$在$y_0$处的值$x_1$，即：
$$y_0=\phi (x_0),x_1=y_0$$
通过上述变换规则，由$x_0$得到$x_1$，$x_1$一般不同于$x_0$，并且由$x_0$惟一确定。

（2）再计算函数$y=\phi (x)$在$x_1$处的函数值$y_1$，然后计算函数$x=y$在$y_1$处的值$x_2$，即：
$$y_1=\phi (x_1),x_2=y_1$$
通过变换规则，由$x_1$得到$x_2$，$x_2$不同于$x_1$并且由$x_1$惟一确定。

（3）这样一直计算下去，就有可能会得到这样的结果：计算函数$y=\phi (x)$在$x^{\ast }$处的函数值$y^{\ast }$，然后在计算函数$x=y$在$y^{\ast }$处的值时，得到的结果就是$x^{\ast }$，即：
$$y^{\ast }=\phi (x^{\ast }),x^{\ast }=y^{\ast }$$
即通过同样的变换规则，由$x^{\ast }$得到的仍然是$x^{\ast }$，并且该结果不再改变，$x^{\ast }$被称为不动点。上述按某种规则进行变换而得到某个数列 { x 0 , x 1 , x 2 , ⋯   , x ∗ , ⋯   } \{x_0,x_1,x_2,\cdots,x^*,\cdots\} {x0​,x1​,x2​,⋯,x∗,⋯}的过程称为迭代过程。即：
$$x_{k+1}=\phi (x_k),(k=0,1,2,\cdots )$$
在上述迭代计算过程中，如果数列 { x 0 , x 1 , x 2 , ⋯   , x ∗ , ⋯   } \{x_0,x_1,x_2,\cdots,x^*,\cdots\} {x0​,x1​,x2​,⋯,x∗,⋯}能趋向与某个极限值$x^{\ast }$，则这个极限值必然是函数$y=\phi (x)$和$x=y$的交点$x^{\ast }$，或者是方程组$y=\phi (x)$和$x=y$的解。于是，就得到了一种解方程的数值方法——迭代方法。下图从几何上描述了迭代的具体过程。

一般地，如果将方程组$y=\phi (x)$和$y=x$消去y，则得到一个关于x的方程：
$$\begin{gathered} x=\phi (x) \\ x-\phi (x)=0 \\ f(x)=0 \end{gathered}$$

在方程$f(x)=0$中，两个函数的交点$x^{\ast }$必定满足$f(x^{\ast })=0$，即$f(x)=0$和方程组$y=\phi (x)$和$y=x$同解。根据这一思路，上溯推导，就可得到方程$f(x)=0$迭代求根的一般方法。即对一个方程
$$f(x)=0$$
进行等价变换，只要将其改写为隐式方程形式
$$x=\phi (x)\text{\hspace{1em}(1)}$$
就得到迭代的计算公式。并且，称$\phi (x)$为迭代函数（1）式一般迭代公式。由于$\phi (x)$中仍然含有未知数x，故方程（1）不能直接求解。如果给出一个迭代初值$x_0$，则隐式方程（1）可转化为显示方程：
$$x_1=\phi (x_0)$$
这样，就可以导出一般迭代的格式：
$$x_{k+1}=\phi (x_k),k=0,1,2,\cdots \text{\hspace{1em}(2)}$$
对于给定的迭代初值$x_0$，按迭代格式（2）反复计算，将得到一个序列$x_0,x_1,x_2,\cdots ,x_k$。当$k\to \infty$，如果极限$li{m}_{k\to \infty }{x}_k$存在，则称该迭代格式$x_{k+1}=\phi (x_k)$是收敛的，并且，该极限就是方程$f(x)=0$的根，否则称该迭代格式$x_{k+1}=\phi (x_k)$是发散的。

例1：求方程$x^3-x-1=0$在$x=1.5$附近的一个根

解：可以将原方程改写为$x=\sqrt{x+1}$的形式。由此，可写出一般迭代格式为：
$$x_{k+1}=\sqrt[3]{x_k+1},k=0,1,2,\cdots$$
取迭代初值$x_0=1.5$，按照上述迭代格式进行初次迭代，得到$x_1=\sqrt[3]{x_0+1}=1.35721$，继续迭代下去，直到第7次和第8次迭代结果分别是$x_7=1.32472$和$x_8=1.32472$，两次迭代结果相同，便得到所求的根$x^{\ast }=1.32472$。下表列出了各次迭代的结果

在使用一般迭代法的过程中，迭代计算结果并不总是收敛的。如果将上述例题所给的方程改写为$x=x^3-1$，其迭代格式为$x_{k+1}=x_k^3-1$。若迭代初值仍取$x_n=1.5$，则$x_1=2.375,x_2=12.3976,\cdots ,$这样继续迭代下去，显然得不到正确的结果，即当$k\to \infty$时不会趋于某个极限。这种迭代过程是发散的，而发生的迭代过程是毫无意义的。

下图给出了迭代发散过程的图解$|{\phi }^{\prime }(x)|>1$时。因此，在使用一般迭代法时，必须首先检验迭代格式的收敛性。

2. 迭代法的收敛性

定理1：设函数$\phi (x)$在$[a,b]$上具有连续的一阶导数，且满足条件：

（1）对所有的$x\in [a,b]$，有$\phi (x)\in [a,b]$

（2）存在$0<L<1$，对所有的$x\in [a,b]$，始终有$|{\phi }^{\prime }(x)|\le L$，则方程$f(x)=0$或$x=\phi (x)$有如下性质：

• 在[a,b]上的解$x^{\ast }$存在且惟一；
• 对于任意的初始值$x_0\in [a,b]$，迭代过程$x_{k+1}=\phi (x_k)$均收敛于$x^{\ast }$；
• 误差估计式为

$$|x^{\ast }-x_k|\le \frac{1}{1-L}|x_{k+1}-x_k|$$

或
$$|x^{\ast }-x_k|\le \frac{L^k}{1-L}|x_1-x_0|(k=1,2,\cdots )$$
定理1是一般迭代法的区间收敛定理。在该定理中，条件（1）保证$y=\phi (x)$和$y=x$一定有交点，条件（2）保证方程若有根则必然惟一并且能用迭代法求解出来。这两个条件是充分条件而不是必要条件。下图给出了定理2的几何解释。其中：（a）表示同时满足两个条件的情形，（b）表示条件（2）不满足的情形，（c）表示条件（1）不满足的情形，（d）表示条件（1）和条件（2）同时都不满足的情形。因此，在用迭代法求方程的根时，构造的迭代函数$\phi (x)$必须同时满足两个条件。

定理1还给出来了迭代过程的终止条件，即：

一个收敛的迭代过程，虽然从理论上讲有$x^{\ast }=li{m}_{k\to \infty }{x}_k$，但在实际计算时，只能迭代有限次数，即只要迭代结果满足
$$|x_{k+1}-x_k|\le ϵ$$
就能保证$x_k$充分接近方程的根$x^{\ast }$。该不等式称为迭代过程的终止条件。

例1中，由于同一方程一般可以构造出多个迭代函数，为了保证迭代过程收敛，根据定理1就能确定收敛的迭代函数$\phi (x)$以及选取迭代初始值$x_0$。

一般说来，定理1中的两个条件在较大的有根区间上是很难保证的，因此要尽可能寻找足够小的方程根的分布区间。通常可在跟$x^{\ast }$附近来考察其收敛性。于是，就有下面的一般迭代法的局部收敛定理。

定义1：对于迭代函数$\phi (x)$，如果存在方程根$x^{\ast }$的一个邻域$\Delta :|x-x^{\ast }|\le \delta$，迭代过程对于任意初值$x_0\in \Delta$均收敛，则称这种收敛性为局部收敛性。

定理2：设$\phi (x)$在$x=\phi (x)$根$x^{\ast }$的邻域内有连续的一阶导数，且
$$|{\phi }^{\prime }(x^{\ast })|<1$$
则迭代过程具有局部收敛性。

注意：用迭代法求方程的根，选用不同的迭代函数，所得到的收敛性和收敛速度是不太一样的。因此，在实际计算中，应该选用收敛的迭代法以及收敛速度快的计算方法。