数值分析笔记（一）：方程求根

---

根的搜索

• 逐步搜索

  在给定区间$[a,b]$上从左端点$x=a$开始，按照步长$h$一步一步取$f(x_0)$和$f(x_0+h)$，如果发现成立$f(x_0)\cdot f(x_0+h)\le 0$则在区间$[x_0,x_0+h]$有根。

  当$h$太小时所需的搜索次数过多，计算量过大。

• 二分搜索

  对有根区间$[a_0,b_0]$实行如下二分手续：用中点$x_0=\frac{a_0+b_0}{2}$将区间分成两半，判断所求根$x^{\ast }$在$x_0$的哪一侧，从而确定新的有根区间$[a_1,b_1]$，其长度为$[a_0,b_0]$的一半。如果无限循环下去，有根区间必收敛于一点$x^{\ast }$。

• 试位法（Method of False Position
  ）

  思想：寻找过$f(a)$和$f(b)$的割线与x轴的交点$(c,0)$

迭代法

迭代法的核心思想就是隐式方程显式化。将方程$f(x)=0$改写为$x=\phi (x)$，给出方程根的某个近似值$x_k$，代入，得$x_{k+1}=\phi (x_k)$，即能得到从给定初值出发的序列$x_1,x_2,x_3,\cdots$。如果这个数列是收敛的，那么显然有方程的根$x^{\ast }=\underset{k\to \infty }{\lim }{x}_k$。

收敛性的判断

如果存在邻域$\Delta :|x-x^{\ast }|\le \delta ,\forall \delta >0$，使得在迭代过程中$\forall x_0\in \Delta$，则称其在根$x^{\ast }$邻近收敛。其中$x_0$为迭代初值。

设$\phi (x)$在方程$x=\phi (x)$的根$x^{\ast }$的邻近有连续的一阶导数，且成立$|{\phi }^{\prime }(x^{\ast })|<1$，则迭代过程$x_{k+1}=\phi (x_k)$在$x^{\ast }$邻近具有局部收敛性。也就是说，具有局部收敛性的迭代过程$x_{k+1}=\phi (x_k)$对足够准确的迭代初值$x^{\ast }$收敛。

收敛速度

对于具有局部收敛性的迭代过程$x_{k+1}=\phi (x_k)$，若${\phi }^{\prime }(x^{\ast })\ne 0$则称迭代过程是线性收敛的，而当${\phi }^{\prime }(x^{\ast })=0$且${\phi }^{\prime \prime }(x^{\ast })\ne 0$，则称迭代过程是平方收敛的。

加速迭代

先考察线性迭代函数

设$\phi (x)$为线性函数 $\phi (x)=Lx+d,L>0$

则所给方程的迭代公式为 $x_{k+1}=L{x}_k+d$

方程的根$x^{\ast }$满足 $x^{\ast }=L{x}^{\ast }+d$

两式相减，有 $x^{\ast }-x_{k+1}=L(x^{\ast }-x_k)$

对迭代误差$e_k=|x^{\ast }-x_k|$，有$e_{k+1}=L{e}_k$

反复递推，有 $e_k=L^k{e}_0$

$L<1$时，迭代序列收敛，且L越小收敛速度越快。

利用上述思想，我们可以对迭代过程进行加速。设$x_k$是根$x^{\ast }$的某个近似值，用迭代公式校正一次，有${\bar{x}}_{k+1}=\phi (x_k)$。假设${\phi }^{\prime }(x)$在考察范围内变化不大，其估计值为$L$，则$x^{\ast }-{\bar{x}}_{k+1}\approx L(x^{\ast }-x_k)$。求解出$x^{\ast }$，有$x^{\ast }\approx \frac{1}{1-L}{\bar{x}}_{k+1}-\frac{L}{1-L}{x}_k$。即有
$\{\begin{array}{lr}{\bar{x}}_{k+1}=\phi (x_k),& 迭代\\ x_{K+1}=\frac{1}{1-L}{\bar{x}}_{k+1}-\frac{L}{1-L}{x}_k,& 加速\end{array}$

即$x_{k+1}=\frac{1}{1-L}[\phi (x_k)-L{x}_k]$

然而上述加速迭代法需要处理一次导数，对有些迭代公式并不方便。更一般的，我们有Aitken加速方法

$\{\begin{array}{lr}{\bar{x}}_{k+1}=\phi (x_k),& 迭代\\ {\tilde{x}}_{k+1}=\phi ({\bar{x}}_{k+1}),& 迭代\\ x_{K+1}={\tilde{x}}_{k+1}-\frac{(x_{k+1}-{\bar{x}}_{k+1}{)}^2}{{\tilde{x}}_{k+1}-2{\bar{x}}_{k+1}+x_k},& 加速\end{array}$

其思想就是用估计值进行二次迭代，然后再做商消去$L$，最后解出$x^{\ast }$，代回即可。Aitken的缺点也是显然的：其要进行两次迭代才能求出一个估计值。

Newton法（切线法）

牛顿法是应用最为广泛的迭代方法。下面导出牛顿公式。考察$f(x)=0$，设已知近似根$x_k$，则显然，我们希望对$x_{k+1}=x_k+\Delta x$尽量满足$f(x_k+\Delta x)\approx 0$。将其左端用其线性主部代替，有$f(x_k)+f^{\prime }(x_k)\Delta x=0$，由此，解出$\Delta x=-\frac{f(x_k)}{f^{\prime }(x_k)}$，从而对$x_{k+1}=x_k+\Delta x$有

$x_{k+1}=x_k-\frac{f(x_k)}{f^{\prime }(x_k)}$

这就是著名的Newton迭代公式

求解$f(x)=x^2-a=0$时，$f^{\prime }(x)=2x$，其Newton迭代函数为$\phi (x)=x-\frac{f(x_k)}{f^{\prime }(x_k)}=\frac{1}{2}\left(a+\frac{a}{x}\right)$，这就是古代数学界的开方法。

Newton法的改进

Newton下山法

基本思想：每一步迭代均保证下降条件，即$|f(x_{k+1})|<|f(x_k)|$，这样能保证全局收敛。

具体做法：加入下山因子$\lambda$，将改进值$x_{k+1}$与前一步的结果$x_k$取加权平均，即$x_{k+1}=\lambda {\bar{x}}_{k+1}+(1-\lambda )x_k$，也就说，迭代公式变形成$x_{k+1}=x_k-\lambda \frac{f(x_k)}{f^{\prime }(x_k)}$，其中$\lambda$的取法为从1开始将$\lambda$进行反复折半，直到满足$|f(x_{k+1})|<|f(x_k)|$。

弦截法

为了避开导数的计算，我们可以采用取割线来代替切线，从而导出弦截法的迭代公式：$x_{k+1}=x_k-\frac{f(x_k)}{f(x_k)-f(x_0)}(x_k-x_0)$。弦截法虽然避开了导数计算，但其迭代速度只有一阶。

快速弦截法

为提高弦截法的效率，再对弦截法公式进行加工，从而我们导出了快速弦截法公式：$x_{k+1}=x_k-\frac{f(x_k)}{f(x_k)-f(x_{k-1})}(x_k-x_{k-1})$。快速弦截法的收敛速度无疑比弦截法快，但是其要提供两个迭代初值，所以又被称为两步法。

改进牛顿法

对于重根情形，即当$f(x)=(x-x^{\ast }{)}^{m}g(x)$且$g(x^{\ast })\ne 0$时，直接采用牛顿法，其${\phi }^{\prime }(x^{\ast })=1-\frac{1}{m}>0$，其仅仅只是线性收敛。

一种改进方法是修改迭代公式，消去$m$，此时迭代公式变为$\phi (x)=x-m\frac{f(x)}{f^{\prime }(x)}$，此时${\phi }^{\prime }(x^{\ast })=0$，收敛性变好。但是这种改进方式需要知道具体的重根阶数$m$。

另一种改进方式是利用$\mu (x)=\frac{f(x)}{f^{\prime }(x)}$与$f(x)=(x-x^{\ast }{)}^{m}g(x)$同根的性质，对$\mu (x)$使用牛顿法，$\phi (x)=x-\frac{\mu (x)}{{\mu }^{\prime }(x)}=x-\frac{f(x)f^{\prime }(x)}{|f^{\prime }(x){|}^2-f(x)f^{\prime \prime }(x)}$从而得到迭代公式为$x_{k+1}=x_k-\frac{f(x_k)f^{\prime }(x_k)}{|f^{\prime }(x_k){|}^2-f(x_k)f^{\prime \prime }(x_k)}$，容易证明，其是二阶收敛的。