非线性方程的迭代解法及其收敛性

引言

  在科学计算中会遇到大量求解非线性方程的情况。如代数方程（二次、三次等），超越方程（三角方程，指数、对数方程等）。即便是基本的代数方程，当次数超过4次时，一般就不能用公式表示方程的根了。为了解决这些问题就要用到数值方法了。

简单迭代法

  先将$f(x)=0$化为一个与它同解的方程$x=\phi (x)$，即如果数$\alpha$使得$f(\alpha )=0$，则有$\alpha =\phi (\alpha )$，反之亦然。这样我们就可以构造一个迭代过程，来求出$\alpha$的近似值。
  任取初始值$x_0$,得$x_1=\phi (x_0)$，再把$x_1$带入，求得$x_2=\phi (x_1)$，继为之，便可得到一个数列。一般表示形式为$x_{k+1}=\phi (x_k)(k=0,1,2,...)$。这就是求解非线性方程的简单迭代法（迭代法、迭代过程、迭代格式），$\phi (x)$为迭代函数，$x_k$称第k步的迭代值。
  如果由迭代格式产生的数列收敛，即$\underset{k\to \infty }{\lim }{x}_k=\alpha$，则称迭代法收敛，否则称迭代法发散。若收敛，$\alpha$就是方程的根
  来看个例子：求$f(x)=2x^3-x-1$的根。用迭代法，我们化为等价方程$x=\sqrt[3]{\frac{x+1}{2}}$，则迭代公式为$x_{k+1}=\sqrt[3]{\frac{x_k+1}{2}}$。或者化为$x=2x^3-1$，迭代格式：$x_{k+1}=2x_k^3-1$，初始值都取$x_0=0$，计算后发现一个收敛一个发散。这说明，迭代法的收敛与发散，依赖于迭代函数
  迭代函数构造的方法很多，例如$x-f(x)=x$，进一步$x-k(x)f(x)=x,(k(x)\ne 0)$。那么迭代函数要满足什么条件，迭代法才收敛呢？从下图可以看出：

迭代函数满足${\phi }^{{}^{\prime }}(x)<1$时，迭代法收敛。

迭代终止条件与迭代次数

  来看一个定理：设迭代函数$\phi (x)$满足，1、当$x\in [a,b]时，a\le \phi (x)\le b$。2、存在正数$0<L<1$，对任意$x\in [a,b]均有|{\phi }^{{}^{\prime }}(x)|\le L$，则$x=\phi (x)$在[a,b]内存在唯一根$\alpha$，且对任意初始值$x_0\in [a,b]$，迭代法收敛于$\alpha$，且有：1式$|x_k-\alpha |\le \frac{L}{1-L}|x_k-x_{k-1}|$以及2式$|x_k-\alpha |\le \frac{L^k}{1-L}|x_1-x_0|$
  从这个定理来看，相邻两次计算值的偏差$|x_k-x_{k-1}|$达到事先给定的精度要求，迭代过程就可以终止。由2式可以大概估计迭代过程所需要的迭代次数。但是由于定理的条件一般很难验证，也不一定成立。所以在根附近进行迭代。由2式可以看出，当L或$|{\phi }^{{}^{\prime }}(x)|$在[a,b]上的值越小，迭代过程收敛速度就越快，当L<1且接近1时，收敛速度很慢。

收敛速度的阶

  为了使收敛速度有定量的判断，引入收敛速度的阶概念。设迭代格式$x_{k+1}=\phi (x_k)$，当$k\to \infty$时，$x_{k+1}\to \alpha$,并记$e_k=x_k-\alpha$。
若存在实数$p\ge 1,c>0满足\underset{k\to \infty }{\lim }\frac{|e_{k+1}|}{|e_k{|}^p}=c$，则称迭代法是p阶收敛。

当p=1时，称为线性收敛；
当p>1时，称为超线性收敛；
当p=2时，称为平方收敛；
p越大迭代法收敛速度越快。

那p如何确定呢，有定理：
如果$x=\phi (x)$中的迭代函数在根$\alpha$附近满足：
(1)$\phi (x)$存在p阶连续导函数
(2)${\phi }^{{}^{\prime }}(\alpha )={\phi }^{{}^{\prime \prime }}(\alpha )=...={\phi }^{p-1}(\alpha )=0,{\phi }^p(\alpha )\ne 0$则迭代法$x_{k+1}=\phi (x_k)$是p阶收敛。

Newton迭代法及其变形

  用迭代法求解非线性方程，构造迭代函数使其收敛非常重要。无论非线性方程f(x)=0形式如何，总有以下构造方法：
$x=\phi (x)=x-k(x)f(x),(k(x)\ne 0)$
前面说过迭代函数的导数绝对值小于1则收敛，且越小收敛速度越快，我们令其导函数为0。有以下推算：

由此引出定理：
方程f(x)=0的根为$\alpha ,f^{{}^{\prime }}(\alpha )\ne 0$则：

式4-26带有f(x)的导函数，使用不方便，用其近似值代替，有：

我们来看下它们的几何意义：



从图中也可看出，弦截法需要两个初值。
Newton法的收敛性与初始值的选取有很大关系(在根附近讨论，局部收敛性)。初始值选择不当，会导致发散，下面介绍一种大范围内收敛的方法。

一种大范围收敛的Newton型方法

为了防止迭代发散，我们符加一个条件：

  其中的下山因子一般采用试算法。由迭代得到$x_k$后，取不同的$\lambda$进行试算，例如：1,1/2,1/4,1/8…。计算出$x_{k+1}$后接着计算$f(x_{k+1})$，如果$|f(x_{k+1})|<|f(x_k)|$成立，则$x_{k+1}$为第k+1步的迭代值。再取$\lambda$按照上一步接着计算$x_{k+2}$，如果计算过程中遇到一个迭代值$x_k$取不到满足要求的$\lambda$值，则称“下山失败”。这时需要另取初始值$x_0$进行重新计算。

多根区间上的逐次逼近法

  方程f(x)=0在多根区间[a,b]上，根的情况无非两种。均为单根或有重根。我们先看均为单根的情况：
1）首先求出单根区间，假设有m个根。把[a,b]分成n个小区间。$[b_0,b_1],[b_1,b_2],...[b_{n-1},b_n],(b_0=a,b_n=b)$然后计算$f(b_i)(i=1,2,...,n)$的值，当$f(b_i)f(b_{i+1})<0$时，那在$[b_i,b_{i+1}]$上至少有一个根。如果有m个区间是这样，那所得到的就都是单根区间。如果这样的有根区间小于m，那就把这些区间再对分，然后重复上述计算直到有m个有根区间为止。
2）再在单根区间上求解。这个就回到之前讲的了。这里介绍一种搜索法。可用来求迭代法的初始值，也可求近似根：


如果发现用二分法过程中，趋于零的速度慢，可以从某个区间开始用迭代法，用该区间端点作为初始值。
  再看有重根的情况：

通过计算得出：在重根条件下的Newton 迭代法如果收敛， 必是线性收敛的。为了提高收敛的阶，可取：

这样迭代函数至少是平方收敛。可以看个例子：