数值分析(7)-非线性方程求根

7 非线性方程求根

这一章讲的是非线性方程求根的故事，假设有非线性函数 $f(x)$，那么其对应的非线性方程求根就是求：
$$f(x)=0$$
的 根，也称作函数 $f(x)$的零点。如果 $f(x)=(x-\alpha {)}^{m}h(x)$，而且 $h(x)$在 $x=\alpha$处连续且导数不为0，那么就称 $\alpha$是方程1的 m重根，当m=1时，称作 单根。如果知道区间 $[a,b]$上必有方程的根，那么这个区间就称为该方程的 有根区间。

高次方程没有解析形式的求根公式，而且很多非线性方程实际上都没有直接发可言，所以求解多是使用迭代方法，下面介绍几种常用的求根方法。

7.1 二分法

了解过算法的同学会对这里很熟悉，就是二分查找、折半查找的原理。

二分法只适合求单根，在有根区间内只能存在一个根才行。假设$[a,b]$ 是方程$f(x)=0$的有根区间，二分法就是将有根区间逐次减半，使有根区间的长度越来越小，从而得到根的近似值。其迭代步骤如下：

如果有根区间为$[a,b]$，那么有$f(a)f(b)<0$，令$a_0=a,b_0=b$，计算$x_1=\frac{a_0+b_0}{2}$，如果此时$f(a_0)f(x_1)>0$则说明根在区间$[x_1,b_0]$中，进而令$a_1=x_1,b_1=b_0$，得到新的有根区间，其长度恰好为上一步的一半。

依照上面的套路，重复进行计算，最后得到的区间$[a_k,b_k]$，这时候我们知道根就在这个区间中，从而误差为：
$$|x_k-\alpha |\le b_k-a_k=\frac{b_{k-1}-a_{k-1}}{2}=\cdots =\frac{b_0-a_0}{2^k}=\frac{b-a}{2^k}$$
这样就可以得到计算精度与迭代次数的关系：
$$\frac{b-a}{2^k}<\epsilon ork>lo{g}_2\frac{b-a}{\epsilon }$$
当满足误差$\epsilon$时，可以取近似值$x_k\approx \alpha$。

4.2 简单迭代法

4.2.1 一般形式

简单迭代法，也叫作逐次逼近法，是通过将方程$f(x)=0$通过等价变换的方式，转换为$x=\phi (x)$的形式，其中$\phi (x)$叫做迭代函数，然后构造迭代格式：
$$x_{k+1}=\phi (x_k)$$
得到迭代序列 { x k } \{x_k\} {xk​}，如果$x_k$收敛于$\alpha$，而且函数$\phi (x)$在$\alpha$附近是连续的，那么根据上面的迭代格式，可以知道$\alpha =\phi (\alpha )$，它就是原方程的根。如果迭代序列收敛，那么就称这个简单迭代法是收敛的。

4.2.2 收敛条件

收敛定理：

假设迭代函数$\phi (x)$在区间$[a,b]$上可导，且满足下面条件：

• $a\le \phi (x)\le b,x\in [a,b]$
• 存在整数$L<1$，使得对任意$x\in [a,b]$均有$|{\phi }^{\prime }(x)|\le L<1$（这个条件可以放宽为$|\phi (x)-\phi (y)|\le L|x-y|,\forall x,y\in [a,b]$）。

这时，方程$x=\phi (x)$在$[a,b]$上存在唯一根$\alpha$，且对$[a,b]$内的任意初值，其产生的迭代序列均收敛于$\alpha$，并有误差估计：
$$|x_k-\alpha |\le \frac{L}{1-L}|x_k-x_{k-1}|$$

$$|x_k-\alpha |\le \frac{L^k}{1-L}|x_1-x_0|$$

进而得到近似精度与迭代次数的关系：
$$\frac{L^k}{1-L}|x_1-x_0|<\epsilon ork>\frac{ln\frac{\epsilon (1-L)}{|x_1-x_0|}}{lnL}$$

4.2.3 收敛阶

收敛阶反映了迭代误差下降的速度，假设有迭代序列 { x k } \{x_k\} {xk​}收敛于$\alpha$，记误差为$e_k=x_k-\alpha$，如果存在正实数p和非零常数C使得下面式子成立：
$$\underset{k\to \infty }{\lim }\frac{|e_{k+1}|}{|e_k{|}^p}=C$$
就称这个迭代序列是p阶收敛的，p是收敛阶，C是渐进误差常数。通常称p=1为线性收敛，p>1为超线性收敛，p=2为平方收敛。

另外还有一个求收敛阶的定理：

假设$\alpha =\phi (\alpha ),\phi (x)$在$\alpha$的邻域充分光滑，且满足下面：
$${\phi }^{\prime }(\alpha )={\phi }^{\prime \prime }(\alpha )=\cdots ={\phi }^{(p-1)}(\alpha )=0,{\phi }^{(p)}(\alpha )̸=0,p⩾2$$
则当初始值$x_0$的取值充分靠近$\alpha$时，迭代格式是p阶收敛的，且有：
$$\underset{k\to \infty }{\lim }\frac{\left|e_{k+1}\right|}{{\left|e_k\right|}^p}=\frac{1}{p!}\left|{\phi }^{(p)}(\alpha )\right|̸=0$$

4.3 Newton迭代法

Newton迭代法的优点在于，在单根附近具有平方收敛，而且可以求重根、复根。基本思想是将非线性方程转换为线性方程，又因为这是根据导数进行计算，又被称为切线法。

4.3.1 迭代格式

假设$f(x)$二阶连续可微，$x_0$是$\alpha$的某个近似值，那么在$x_0$处泰勒展开（Taylor）：
$$f(x)=f\left(x_0\right)+f^{\prime }\left(x_0\right)\left(x-x_0\right)+\frac{f^{\prime \prime }\left({\xi }_0\right)}{2}{\left(x-x_0\right)}^2$$
其中${\xi }_0$介于$x,x_0$之间，可以用其线性主部近似原函数，即：
$$f(x)\approx f\left(x_0\right)+f^{\prime }\left(x_0\right)\left(x-x_0\right)$$
那么非线性方程$f(x)=0$就近似为了线性方程：
$$f\left(x_0\right)+f^{\prime }\left(x_0\right)\left(x-x_0\right)=0$$
若$f^{\prime }(x)̸=0$，则可得到：
$$x_1=x_0-\frac{f(x_0)}{f^{\prime }(x_0)}$$
按照此套路，若$f^{\prime }(x)̸=0$，可以得到Newton迭代格式：
$$x_{k+1}=x_k-\frac{f\left(x_k\right)}{f^{\prime }\left(x_k\right)},k=0,1,2,\cdots$$

4.3.2 收敛性

Newton迭代法迭代函数为：
$$\phi (x)=x-\frac{f(x)}{f^{\prime }(x)}$$
又因为Newton迭代法要求在根的位置一阶可导，且原函数在有根区间二次连续可微，那么可以知道迭代函数的导数为：
$${\phi }^{\prime }(x)=1-\frac{{\left(f^{\prime }(x)\right)}^2-f(x)f^{\prime \prime }(x)}{{\left(f^{\prime }(x)\right)}^2}=\frac{f(x)f^{\prime \prime }(x)}{{\left(f^{\prime }(x)\right)}^2}̸=0$$
所以知道，Newton迭代法是局部收敛的，而且至少是平方收敛。进一步可以得到如下收敛定理

设函数$f(x)$在根$\alpha$邻域有二阶连续导数，且$f^{\prime }(\alpha )̸=0$，则对充分接近$\alpha$的初值$x_0$，Newton迭代法产生的迭代序列 { x k } \{x_k\} {xk​}收敛于$\alpha$，并有：
$$\underset{h\to \infty }{\lim }\frac{x_{k+1}-\alpha }{{\left(x_k-\alpha \right)}^2}=\frac{f^{\prime \prime }(\alpha )}{2f^{\prime }(\alpha )}$$
上面定理说明了，一般情况下，Newton迭代是平方收敛，如果$f^{\prime \prime }(x)=0$那么收敛阶会更高。

下面讨论初始值的要求：

设$M_2=\max \left|f^{\prime \prime }(x)\right|,m_1=\min \left|f^{\prime }(x)\right|,C=\frac{M_2}{2m_1}$，则有上面公式，有：
$$\left|x_{k+1}-\alpha \right|⩽C{\left|x_k-\alpha \right|}^2,k=0,1,2,\cdots$$
为了方便计算，改写为：
$$C\left|x_{k+1}-\alpha \right|⩽{\left(C\left|x_k-\alpha \right|\right)}^2,k=0,1,2,\cdots$$
于是有：
$$C|x_k-\alpha |\le (C|x_0-\alpha |{)}^{2k}$$
将C带入：
$$|x_k-\alpha |\le \frac{2m_1}{M_2}{\left(\frac{M_2}{2m_1}|x_0-\alpha |\right)}^{2k}$$
要保证$|x_k-\alpha |$趋近于0，那么对于$x_0$的选择，要保证$|x_0-\alpha |<\frac{2m_1}{M_2}$。