数值分析-非线性方程数值解法

---

一、方程求根与二分法

1.引言

考虑单变量非线性方程$f(x)=0$的求根问题，其中$x\in R，f(x)\in C[a,b]$
非线性方程分两类：
1.代数方程
$a_0{x}^n+a_1{x}^{n-1}+...+a_{n-1}x+a_n=0$
其中$a_0\ne 0，a_i\in R(i=0,1,...,n).如：x^3-x-1=0$
2.超越方程，如：$x-e^{-x}=0$
如果$f(x)$可以分解为$f(x)=(x-x^{\ast }{)}^{m}g(x)$，其中$0<|g(x)|<\infty$,$m$为正整数，则称$x^{\ast }$为$f(x)$的$m$重零点
此时$f(x^{\ast })=f^{{}^{\prime }}(x^{\ast })=...=f^{(m-1)}(x^{\ast })=0，f^{(m)}(x^{\ast })\ne 0$

2.二分法

$f(x)$在单调的情况下,在有根区间$[a,b]$中
判断：$f(a)\cdot f(b)<0$,取$x_0=(a+b)/2$假如$f(x_0)$是$f(x)$的零点，那么输出$x_0$,停止，假若不然
若$f(a)\cdot f(x_0)<0$,则$a_1=a,b1=x_0,x_1=(a_1+b_1)/2$
否则$f(b)\cdot f(x_0)<0$,$a_1=x_0，b_1=b,x_1=(a_1+b_1)/2$
判断：…
…

特点：必然收敛，$x_k=(a_k+b_k)/2\to x^{\ast }$，速度慢

二、迭代法

1.不动点迭代

将非线性方程$f(x)=0$化为等式$x=\phi (x)$
$f(x^{\ast })=0\iff x^{\ast }=\phi (x^{\ast })$
则称$x^{\ast }$为函数$\phi (x)$的一个不动点
步骤：给定初始近似值$x_0$，可以得到$x_1=\phi (x_0)$
如此反复，构造迭代公式$$x_{k+1}=\phi (x_k)，k=0,1,2...$$称$\phi (x)$为迭代函数

2.不动点的存在性和迭代法的收敛性

定理一
$\phi (x)\in C[a,b]，$并且
（1）$\forall x\in [a,b]$，都有$\phi (x)\in [a,b]$
（2）$\exists 0\le L\le 1$，使得$\forall x,y\in [a,b]$，都有$|\phi (x)-\phi (y)|\le |x-y|$，那么$\phi (x)$在$[a,b]$上存在唯一的不动点
定理二
由迭代得到的迭代序列 { x k } \lbrace x_k\rbrace {xk​}
$|x_{k+1}-x_k|\le L|x_k-x_{k-1}|$
$|x_k-x^{\ast }|\le \frac{1}{1-L}|x_{k+1}-x_k|$
误差估计：
$$|x_k-x^{\ast }|\le \frac{L^k}{1-L}|x_1-x_0|$$
推论
若$\phi (x)\in C^1[a,b]，$并且
（1）$\forall x\in [a,b]$，都有$\phi (x)\in [a,b]$
（2）$\exists 0\le L\le 1$，使得$\forall x\in [a,b]$，都有${\phi }^{{}^{\prime }}(x)\le L<1$ ,那么
1）方程$f(x)=0$在$[a,b]$上有唯一的根$x^{\ast }$
2）对于任意初值$x_0\in [a,b]$，迭代序列均收敛于$x^{\ast }$
3）满足以上误差估计
定理三
只在不动点$x^{\ast }$附近考察收敛性，称为局部收敛性。
设$x^{\ast }$为$\phi (x)$的不动点，${\phi }^{{}^{\prime }}(x)$在x的某个领域内连续，且$|{\phi }^{{}^{\prime }}(x^{\ast })|<1$ ,那么d迭代法局部收敛
定理四
设$x_{k+1}=\phi (x_k)$收敛于$x^{\ast }$,设误差$e_k=x_k-x^{\ast }$，若${\lim }_{k\to \infty }\frac{e_{k+1}}{e_k^p}=C$,C是不等于0的常数，则称迭代过程为p阶收敛。
如果迭代函数$\phi (x)$在$x=\phi (x)$的根$x^{\ast }$邻近具有p阶连续导数并且${\phi }^{{}^{\prime }}(x^{\ast })={\phi }^{{}^{\prime \prime }}(x^{\ast })=...={\phi }^{(p-1)}(x^{\ast })=0，{\phi }^p(x^{\ast })\ne 0$，那么迭代过程在$x^{\ast }$附近是p阶收敛的（$\phi (x_k)$泰勒展开式可证）

三、迭代收敛的加速方法

1.埃特金加速收敛方法

已知
$x_1-x^{\ast }=\phi (x_0)-\phi (x^{\ast })$
$x_2-x^{\ast }=\phi (x_1)-\phi (x^{\ast })$
若${\phi }^{{}^{\prime }}(x)$变化不大，${\phi }^{{}^{\prime }}(x)\approx L$，则
$x_1-x^{\ast }=\phi (x_0)-\phi (x^{\ast })\approx L(x_0-x^{\ast })$ (1)
$x_2-x^{\ast }=\phi (x_1)-\phi (x^{\ast })\approx L(x_1-x^{\ast })$ (2)
由（1）（2）消去L得
$\frac{x_1-x^{\ast }}{x_2-x^{\ast }}\approx \frac{x_0-x^{\ast }}{x_1-x^{\ast }}$可得$x^{\ast }$的表达式
$x^{\ast }\approx \frac{x_0{x}_2-x_1^2}{x_2-2x_1+x_0}=x_0-\frac{(x_1-x_0{)}^2}{x_0-2x_1+x_2}$
转化为通式
$${\bar{x}}_{k+1}=x_k-\frac{(x_{k+1}-x_k{)}^2}{x_k-2x_{k+1}+x_{k+2}}$$

2.斯特芬森迭代法

埃特金加速收敛方法是不管原序列$x_k$是怎样产生的，对$x_k$进行加速计算，得到${\bar{x}}_k$序列，斯特芬森迭代法将埃特金加速收敛方法和不动点迭代结合，得：
$$f(n)=\{\begin{array}{l}{y}_k=\phi (x_k),z_k=\phi (y_k)\\ x_{k+1}=x_k-\frac{(y_k-x_k{)}^2}{z_k-2y_k+x_k}\end{array}k=0,1,...,$$
将上式写为不动点迭代形式
$x_{k+1}=\phi (x_k)，k=0,1,...,$
其中
$\psi (x)=x-\frac{(\phi (x)-x{)}^2}{\phi (\phi (x))-2\phi (x)+x}$
定理五
若$x^{\ast }$为$\psi (x)$函数的不动点，则$x^{\ast }$为$\phi (x)$函数的不动点；反之若$x^{\ast }$为$\phi (x)$函数的不动点，设${\phi }^{{}^{\prime \prime }}(x)$存在，且${\phi }^{{}^{\prime }}(x)\ne 1$，则$x^{\ast }$为$\psi (x)$函数的不动点,且斯特芬森迭代法是二阶收敛的，粗略理解一下二阶收敛，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。
斯特芬森迭代法可以让不原本不收敛的迭代法可能收敛，例如$x_{k+1}=x_k^3-1，\phi (x)=x^3-1$。

四、牛顿法

1.牛顿法及其收敛性

思想：将非线性方程$f(x)=0$逐步归结为某种线性方程来求解
设已知方程的近似根$x_k$(假定$f^{{}^{\prime }}(x)\ne 0$)，将函数$f(x)$在点$x_k$展开，有
$$f(x)\approx f(x_k)+f^{{}^{\prime }}(x_k)(x-x_k)$$
于是方程可以近似的表示为
$$f(x_k)+f^{{}^{\prime }}(x_k)(x-x_k)=0$$
方程变为了线性格式，将方程修改为迭代格式
$$x_{k+1}=x_k-\frac{f(x_k)}{f^{{}^{\prime }}(x_k)}，k=0,1,2...,$$
$x=\phi (x)$其中，$\phi (x)=x-\frac{f(x_k)}{f^{{}^{\prime }}(x_k)}$
假定$x^{\ast }是f(x)$的一个单根，即$f(x^{\ast })=0$，$f^{{}^{\prime }}(x^{\ast })\ne 0，f^{{}^{\prime \prime }}(x^{\ast })\ne 0$，${\phi }^{{}^{\prime }}(x^{\ast })=0，{\phi }^{{}^{\prime \prime }}(x^{\ast })\ne 0$,由定理四可得牛顿法在根邻近是平方收敛。