工程数学 计算方法 第二章 非线性方程的数值解法

写在前面：因为字太丑笔记自己都不想看，就用markdown记录一下工程数学这门课的学习。本学期本专业本课程课时较少，所以知识点都学得很浅，都是些最基础的东西。应试部分是根据老师划的考点整理的，仅针对本专业本学期本次期末考试。

 

非线性方程的数值解法

二次至四次方程有求根公式，但对于更高次幂的代数方程目前仍无有效的精确解法，对u与无规律的非代数方程的求解也无精确解法。转向求数值解。

基本概念：

方程$f(x)=0$的根$x^{\ast }$称为$f(x)$的零点，它使$f(x^{\ast })=0$。若$g(x^{\ast })\ne 0$，$f(x)$可表示为$f(x)=(x-x^{\ast }{)}^{m}g(x)$，其中$m$为正整数且$f(x^{\ast })=0$。

当$m=1$时，称$x^{\ast }$为单根。若$m>1$，称$x^{\ast }$为$f(x)$的$m$重根，或$f(x)$的$m$重零点。若$x^{\ast }$是$f(x)$的$m$重零点且$g(x)$充分光滑，则
$$f(x^{\ast })=f^{\prime }(x^{\ast })=f^{\prime \prime }(x^{\ast })=...=f^{(m-1)}(x^{\ast })=0,f^{(m)}(x^{\ast })\ne 0$$

二分法

零点存在性定理：若$f\in C[a,b]$，且$f(a)\cdot f(b)<0$，则$f$在$(a,b)$上存在零点。称$[a,b]$为方程的有根区间。

给定有根区间$[a,b](f(a)\cdot f(b)<0)$和精度$\epsilon$或$\delta$：

1. 二分区间：令$x=\frac{a+b}{2}$
2. 判断精度：如果$b-a<\epsilon$或$f(x)<\delta$，停机，输出$x$
3. 选取区间：如果$f(a)\cdot f(x)<0$，则令$b=x$，否则令$a=x$，返回第一步

给定精度$\epsilon$，可估计二分法所需步数$k$：
$$\begin{gathered} \frac{b-a}{2^k}<\epsilon ⟹k>{\log }_2\frac{b-a}{\epsilon } \\ 取k=\lceil {\log }_2\frac{b-a}{\epsilon }\rceil \end{gathered}$$
优点：简单易用，且对$f(x)$要求不高，连续即可收敛；
缺点：收敛速度慢，仅适用于标量方程且需事先确定隔离区间，无法求复根及偶重根。

精度选择：若选取$f(x)<\delta$为精度要求，则无法保证$x$的精度（$f(x)$在$x^{\ast }$附近可能斜率很小）

不动点迭代法/Picard迭代法

原理

$$\begin{array}{ccc}f(x)=0& ⟺& x=\phi (x)\\ f(x)的根& ⟺& \phi (x)的不动点\end{array}$$

从初值$x_0$出发，迭代$x_{k+1}=\phi (x_k)$。若 { x k } k = 0 ∞ \{x_k\}_{k=0}^\infty {xk​}k=0∞​收敛，即存在$x^{\ast }$使得$\underset{k\to \infty }{\lim }{x}_k=x^{\ast }$。

收敛性与停止条件

将$f(x)=0$改写为$x=\phi (x)$有很多形式，那么什么样的迭代格式存在不动点呢？什么样的迭代格式可以使得 { x k } k = 0 ∞ \{x_k\}_{k=0}^\infty {xk​}k=0∞​收敛到不动点呢？怎么判断收敛到何时可以停止呢？

不动点的存在性定理：设$\phi (x)\in C[a,b]$满足以下两个条件：

1. 对于$\forall x\in [a,b]$，有$a⩽\phi (x)⩽b$；

2. $\exists 0<L<1$，使得$\forall x,y\in C[a,b]$，有
   $$|\phi (x)-\phi (y)|⩽L|x-y|$$
   则$\phi (x)$在$[a,b]$上存在唯一不动点$x^{\ast }$。

   根据中值定理知：$\forall x\in [a,b]$，有
   $$|\phi (x)-\phi (y)|=|{\phi }^{\prime }(\xi )(x-y)|⩽L|x-y|,\xi \in (a,b)$$
   它表明条件2可由$|{\phi }^{\prime }(x)|⩽L<1$替代。

收敛的充分条件：设$\phi (x)\in C[a,b]$满足上述定理的两个条件，则对于$\forall x\in [a,b]$，由$x_{k+1}=\phi (x_k)$得到的迭代序列 { x k } \{x_k\} {xk​}收敛到$\phi (x)$的不动点$x^{\ast }$，并有误差估计
$$|x_k-x^{\ast }|⩽\frac{L^k}{1-L}|x_1-x_0|$$
由定理得，收敛可由$|{\phi }^{\prime }(x)|⩽L<1$判断。

对于精度要求$|x_k-x^{\ast }|<\epsilon$，只要
$$\frac{L}{1-L}|x_k-x_{k-1}|<\epsilon$$
因此，当
$$|x_k-x_{k-1}|<\frac{1-L}{L}\epsilon \approx \epsilon$$
时，迭代就可以终止，$x_k$可以作为方程的近似解。

收敛速度

如何衡量算法的好坏呢？

设迭代过程$x_{k+1}=\phi (x_k)$收敛于方程$x=\phi (x)$的根$x^{\ast }$，如果迭代误差${\epsilon }_k=x_k-x^{\ast }$，当$k\to \infty$时，有
$$\frac{{\epsilon }_{k+1}}{{\epsilon }_k^p}\to C\ne 0$$
则称该迭代过程是$p$阶收敛的。
$p=1$时称线性收敛，$p>1$时称超线性收敛，$p=2$时称平方收敛。
不动点迭代法依方程而异，收敛阶各不相同。

定理：设$\phi (x)$在其不动点$x^{\ast }$的某邻域内$p$阶连续可微，且
$${\phi }^{(i)}(x^{\ast })=0(i=1,2,...,p-1),{\phi }^{(p)}(x^{\ast })\ne 0$$
则不动点迭代法是$p$阶收敛的。

令$e_k=x_k-x^{\ast }$，有
$$\begin{gathered} e_{k+1}=x_{k+1}-x^{\ast }=\phi (x_k)-\phi (x^{\ast })={\phi }^{\prime }(\xi )e_k \\ \underset{k\to \infty }{\lim }\frac{e_{k+1}}{e_k^p}=\frac{1}{p!}{\phi }^{(p)}(x^{\ast }) \end{gathered}$$

Newton迭代法

基本思想

将非线性方程$f(x)=0$逐步线性化而形成迭代公式。

取$x_0\approx x^{\ast }$，将$f(x)$在$x_0$做一阶Taylor展开：
$$f(x)=f(x_0)+f^{\prime }(x_o)(x-x_0)+\frac{f^{\prime \prime }(\xi )}{2!}(x-x_0),\xi 在x_0和x之间$$
将$(x^{\ast }-x_0{)}^2$看成高阶小量，有：
$$0=f(x^{\ast })\approx f(x_0)+f^{\prime }(x_0)(x^{\ast }-x_0)⟹x^{\ast }\approx x_0-\frac{f(x_0)}{f^{\prime }(x_0)}$$
得迭代公式：
$$x_{k+1}=x_k-\frac{f(x_k)}{f^{\prime }(x_k)}$$

迭代停止条件与前同，即
$$|x_{i+1}-x_i|<\epsilon or|f(x_i)|⩽\delta$$

几何意义

切线法，取切线与x轴交点来作为迭代值。

割线法：

Newt需要计算$f$和$f^{\prime }$，相当于2个函数值，费时。用$f$的值近似$f^{\prime }$，可少算一个函数值。

$$\begin{array}{cc}切线斜率\approx 割线斜率& ⟹f^{\prime }(x_k)\approx \frac{f(x_k)-f(x_{k-1})}{x_k-x_{k-1}}\\ & ⟹x_{k+1}=x_k-\frac{f(x_k)(x_k-x_{k-1})}{f(x_k)-f(x_{k-1})}\end{array}$$
需要两个初值$x_0$和$x_1$。
收敛比Newton迭代法慢，且对初值要求同样高。

收敛性

Newton迭代法收敛性依赖于$x_0$的选取。

收敛的充分条件：

设$f\in C^2[a,b]$，若

1. $f(a)f(b)<0$；（有根）
2. 在整个$[a,b]$上$f^{\prime \prime }$不变号且$f^{\prime }(x)\ne 0$；（根唯一）
3. 选取$x_0\in [a,b]$使得$f(x_0)f^{\prime \prime }(x_0)>0$；（序列单调有界，保证收敛）
   则Newton迭代法产生的序列 { x k } \{x_k\} {xk​}收敛到$f(x)$在$[a,b]$的唯一根。

局部收敛。
实际上是一种特殊的不动点迭代。

Newton下山法

若由$x_k$得到的$x_{k+1}$不能使$|f|$减小，则在$x_k$和$x_{k+1}$之间找一个更好的点$\overline{x_{k+1}}$，使得$|f(\overline{x_{k+1}})|<|f(x_k)|$。取
$$\begin{array}{c}\overline{x_{k+1}}=\lambda x_{k+1}+(1-\lambda )x_k=\lambda [x_k-\frac{f(x_k)}{f^{\prime }(x_k)}]+(1-\lambda )x_k=x_k-\lambda \frac{f(x_k)}{f^{\prime }(x_k)}\end{array}$$
$\lambda =1$时为Newton迭代公式。
当$\lambda =1$带入效果不好时，$\lambda$取半再代入计算。
效果不好：函数值序列没有递减。

加速迭代法

有的迭代过程虽然收敛，但收敛阶低，收敛速度慢，效果不好。

如何优化？

Aitken加速迭代法。

$${\overline{x}}_{k+1}=x_k-\frac{(x_{k+1}-x_k{)}^2}{x_k-2x_{k+1}+x_{k+2}}(k=0,1,\cdots )$$

收敛速度：

可以证明：
$$\underset{k\to \infty }{\lim }\frac{{\overline{x}}_{k+1}-x^{\ast }}{x_k-x^{\ast }}=0$$
它表明序列 { x ‾ k } \{\overline x_k\} {xk​}的收敛速度比 { x k } \{x_k\} {xk​}的收敛速度快。

Aitken加速迭代法有$\underset{k\to \infty }{\lim }\frac{|x_{k+1}-x^{\ast }|}{|x_k-x^{\ast }|}=0$。$\underset{k\to \infty }{\lim }\frac{|e_{k+1}|}{|e_k|}=0$称为超线性收敛。

应试

牛顿迭代法

对单根：平方收敛（2阶收敛）。
收敛性取决于$x_0$的选取。一般给$x_0$或$x_0$的取值区间。给取值区间的时候如果不放心收敛性可以取端点。
套公式就完了。
$$x_{k+1}=x_k-\frac{f(x_k)}{f^{\prime }(x_k)}$$
考试不考Newton下山法，计算量太大，没必要。

收敛阶

好像是要考选择
$$\begin{gathered} \frac{{\epsilon }_{k+1}}{{\epsilon }_k^p}\to C\ne 0 \\ \underset{k\to \infty }{\lim }\frac{x_{k+1}-x^{\ast }}{x_k-x^{\ast }}=C\ne 0 \end{gathered}$$