计算方法（二）：非线性方程求根

非线性方程求根

主要讨论单变量非线性方程：
$$f(x)=0(2.1)$$的求根问题， $x\in R,f(x)\in C[a,b]$.

（1）“根在哪里”，即确定根所在的区间，进行根的隔离。

（2）“根的求法”，通过数值方法，近似求解，并保证精度要求。

若 $f(x)\in C[a,b]$ 且 $f(a)f(b)<0$ ，根据闭区间上连续函数性质可知 $f(x)=0$ 在 $(a,b)$ 内至少有一个实根，称 $[a,b]$ 为方程（2.1）的有根区间。

二分法

若 $f(x)\in C[a,b]$ 且 $f(a)f(b)<0$ ，根据连续函数性质可知 $f(x)=0$ 在 $(a,b)$ 内至少有一个实根 $x^{\ast }$ 。

考察有根区间 $[a,b]$ ，取中点 $x_0=\frac{a+b}{2}$ 将区间分为两半。若 $f(x_0)=0$ ，则 $x_0$ 为 $f(x)=0$ 的实根 $x^{\ast }$ 。若$f(x_0)\ne 0$ ，检查 $f(x_0)$ 与 $f(a)$ 是否同号，即不等式：
$$f(a)f(x_0)<0$$是否成立。如果成立，说明所求的根 $x^{\ast }$ 在 $x_0$ 的左侧，这时令 $a_1=a,b_1=x_0$ ；否则 $x^{\ast }$ 必在 $x_0$ 右侧，这时令$a_1=x_0,b_1=b$ ，两种情况都能得到一个新的有根区间 $[a_1,b_1]$ ，其长度仅为 $[a,b]$ 的一半。

对缩小了的有根区间 $[a_1,b_1]$ 用中点 $x_1=\frac{a_1+b_1}{2}$再分成两半，然后判断 $x_1$ 是不是根，并用
$$f(a)f(x_1)<0$$是否成立来判断所求的根 $x^{\ast }$ 在 $x_1$ 的哪一侧，从而又确定一个新的有根区间 $[a_2,b_2]$ ，其长度是 $[a_1,b_1]$ 的一半。

如此反复二分下去，可以得出一系列有根区间：
$$[a,b]\supset [a_1,b_1]\supset [a_2,b_2]\supset \cdots \supset [a_k,b_k]\supset \cdots$$其中区间每个区间都是前一个区间的一半，从而 $[a_k,b_k]$ 的长度为
$$b_k-a_k=\frac{b-a}{2^k}$$当 $k\to \infty$ 时，此区间长度趋于零，如果二分过程无限地继续下去，这些区间最终必收缩于一点 $x^{\ast }$，为所求的根。

每次二分后，取有根区间 $[a_n,b_n]$ 的中点 $x_n=\frac{a_n+b_n}{2}$ 作为根的近似值，可以得到一个近似根的序列：$x_0,x_1,x_2,\cdots$ ，该序列必以根 $x^{\ast }$ 为极限。

给定一个预定的精度 $\epsilon$ ，由 $x^{\ast }\in [a_n,b_n]$ ，可得
$$|x^{\ast }-x_n|\le \frac{1}{2}(b_n-a_n)=\frac{1}{2^{n+1}}(b-a)$$只要 $n$ 充分大，使得
$$\frac{1}{2^{n+1}}(b-a)<\epsilon ,即n>[\ln \frac{b-a}{\epsilon }/\ln 2]$$就有
$$|x^{\ast }-x_n|<\epsilon$$$x_n$ 就是一个满足精度要求的近似根。

注：在实际计算中，若 $|f(x_n)|$ 很小：$|f(x_n)|<\delta$（$\delta$ 为给定的误差限），则 $x_n$ 就可作为近似根。

二分法的优点是算法简单，且总是收敛的，缺点是事先要确定有根区间，且收敛较慢，且不能用于求复根或偶数重根，一般不单独将其用于求根，只用其求根的一个较好的近似值。

迭代法

不动点迭代法（简单迭代法）

将方程 $f(x)=0$ 转化为：
$$x=g(x)$$若 $x^{\ast }$ 满足 $f(x^{\ast })=0$，则 $x^{\ast }=g(x^{\ast })$ ，称 $x^{\ast }$ 为函数 $g(x)$ 的一个不动点。

选择初始近似值 $x_0$，代入得：$x_1=g(x_0)$。

反复迭代：$x_{k+1}=g(x_k)$，$k=0,1,2,\cdots$，称 $g(x)$ 为迭代函数，可得一个迭代序列{ $x_k$ }。

若对于 $x_0\in [a,b]$，该迭代序列有极限：${\lim }_{k\to \infty }{x}_k=x^{\ast }$，则称迭代法收敛，且 $x^{\ast }=g(x^{\ast })$ 为 $g(x)$ 的不动点。若迭代序列发散，则称迭代法发散。

不动点迭代法的基本思想：将隐式方程 $f(x)=0$ 化为显式的计算公式 $x=g(x)$ ，然后通过迭代，求方程近似根。

迭代法几何意义： 方程 $x=g(x)$ 的求根问题在 $xy$ 平面上就是要确定曲线 $x=g(x)$ 与直线 $y=x$ 的交点 $P^{\ast }$。

迭代法收敛的充分条件

压缩映照： 在区间[a,b]上定义的函数 $g(x)$，若存在常数 $L,0\le L\le 1$，使得 $\forall x,y\in [a,b]$，都有：
$$|g(x)-g(y)|\le L|x-y|$$则称映照 $g(x)$ 在区间 $[a,b]$ 上是压缩的。

不动点的存在唯一性及误差分析

定理1： 设 $g(x)\in C[a,b]$ 满足以下两个条件：（1）任意 $x\in [a,b]$，有 $g(x)\in [a,b]$；（2）存在常数 $L,0\le L\le 1$，使对任意 $x,y\in [a,b]$，有
$$|g(x)-g(y)|\le L|x-y|$$则：（1）$x=g(x)$ 在 $[a,b]$ 上存在唯一实根 $x^{\ast }$；（2）对任意初值 $x_0\in [a,b]$，由 $x_{k+1}=g(x_k)$ 得到的迭代序列 {$x_k$}收敛到 $x=g(x)$ 在 $[a,b]$ 的唯一实根 $x^{\ast }$，并有误差估计：
$$\begin{gathered} |x^{\ast }-x_k|\le \frac{1}{1-L}|x_{k+1}-x_k| \\ |x^{\ast }-x_k|\le \frac{L^k}{1-L}|x_1-x_0| \end{gathered}$$

证明如下：

先证不动点存在性。
$$\begin{gathered} 定义函数:\phi (x)=g(x)-x \\ 显然\phi (x)\in C[a,b]。因为a\le g(x)\le b，有 \\ \phi (a)=g(a)-a\ge 0,\phi (b)=g(b)-b\le 0 \\ 由连续函数性质可知存在x^{\ast }\in (a,b),使得\phi (x^{\ast })=0,即g(x^{\ast })=x^{\ast },为不动点 \end{gathered}$$
再证唯一性。
$$\begin{gathered} 设x_1^{\ast }及x_2^{\ast }\in [a,b]是g(x)的两个不同的不动点，则 \\ |x_1^{\ast }-x_2^{\ast }|=|g(x_1^{\ast })-g(x_2^{\ast })|\le L|x_1^{\ast }-x_2^{\ast }|<|x_1^{\ast }-x_2^{\ast }|,矛盾 \end{gathered}$$
误差估计：
$$\begin{gathered} |x_k-x^{\ast }|=|g(x_{k-1})-g(x^{\ast })|\le L|x_{k-1}-x^{\ast }|\le \cdots \le L^k|x_0-x^{\ast }| \\ |x_{k+1}-x_k|=|g(x_k)-g(x_{k-1})|\le L|x_k-x_{k-1}|\le L^k|x_1-x_0| \\ 于是，对任意正整数p,有 \\ |x_{k+p}-x_k|\le |x_{k+p}-x_{k+p-1}|+|x_{k+p-1}-x_{k+p-2}|+\cdots +|x_{k+1}-x_k|\le (L^{k+p-1}+L^{k+p-2}+\cdots +L^k)|x_1-x_0| \\ 令p\to \infty ，注意到\underset{p\to \infty }{\lim }{x}_{k+p}=x^{\ast },可得 \\ |x^{\ast }-x_k|\le \frac{L^k}{1-L}|x_1-x_0| \\ |x_{k+1}-x_k|=|(x^{\ast }-x_k)-(x^{\ast }-x_{k+1})|\ge |x^{\ast }-x_k|-|x^{\ast }-x_{k+1}|\ge |x^{\ast }-x_k|-L|x^{\ast }-x_k|=(1-L)|x^{\ast }-x_k| \\ |x^{\ast }-x_k|\le \frac{1}{1-L}|x_{k+1}-x_k| \end{gathered}$$

实际迭代计算过程中，有时 $L$ 难以估计，所以，只要相邻两次计算结果的偏差 $|x_{k+1}-x_k|$ 足够小，即可保证近似值 $x_k$ 具有足够精度。

由Lagrange中值定理可知，如果 $g(x)\in C^1[a,b]$，且对任意 $x\in [a,b]$，有 $|g^{\prime }(x)|\le L\le 1$，则对 $\forall x,y\in [a,b]$，有
$$|g(x)-g(y)|=|g^{\prime }(\xi )(x-y)|\le L|x-y|,\xi \in (a,b)$$表明上述定理的条件（2）可用 $g^{\prime }(x)$ 的性质代替。

注： 一般情况下，$L$ 越小，收敛速度越快。

局部收敛性：$g(x)$ 有不动点 $x^{\ast }$，如果存在 $x^{\ast }$ 的某一邻域 S = { x ∣ ∣ x − x ∗ ∣ ≤ δ } S=\{x||x-x^*|\leq\delta\} S={x∣∣x−x∗∣≤δ}，对任意 $x_0\in S$，迭代产生的序列 { x k } ∈ S \{x_k\}\in S {xk​}∈S，且收敛到 $x^{\ast }$，则称迭代法局部收敛。

定理2：设 $x^{\ast }$ 为 $g(x)$ 的不动点，$g^{\prime }(x)$ 在 $x^{\ast }$ 的某个邻域连续，且 $|g^{\prime }(x)|<1$，则迭代法局部收敛。

证明：由连续函数性质，存在 $L$ 和 $x^{\ast }$ 的某个邻域 S = { x ∣ ∣ x − x ∗ ∣ ≤ δ } = [ x ∗ − δ , x ∗ + δ ] S=\{x||x-x^*|\leq\delta\}=[x^*-\delta,x^*+\delta] S={x∣∣x−x∗∣≤δ}=[x∗−δ,x∗+δ]，对任意 $x\in S$，成立：
$$|g^{\prime }(x)|\le L<1$$又：$|g(x)-x^{\ast }|=|g(x)-g(x^{\ast })|\le L|x-x^{\ast }|\le |x-x^{\ast }|$ 可知，对任意 $x\in S$，总有 $g(x)\in S$。由定理1知，对任意 $x_0\in S$，迭代序列 { x k } ∈ S \{x_k\}\in S {xk​}∈S，且收敛到 $x^{\ast }$。

牛顿迭代法与弦割法

牛顿迭代公式及其几何意义

牛顿法实质上是一种线性化方法。对于单根和重根，收敛速度不同。

设 $f(x)$ 可以表示成 $f(x)=(x-x^{\ast }{)}^{m}q(x)$，且 $q(x^{\ast })\ne 0$，则称 $x^{\ast }$ 为方程 $f(x)=0$ 的m重根，当m=1时，称 $x^{\ast }$ 为方程 $f(x)=0$ 的单根。

设 $f(x)\in C^m[a,b]$，则 $f(x)$ 在内的点 $x^{\ast }$ 具有m重根的充要条件是：
$$f(x^{\ast })=f^{\prime }(x^{\ast })=\cdots =f^{(m-1)}(x^{\ast })=0,f^{(m)}(x^{\ast })\ne 0$$

单根情形

设 $f(x)\in C^1(x^{\ast }-\delta ，x^{\ast }+\delta )$，$f^{\prime }(x^{\ast })\ne 0$，即 $x^{\ast }$ 为方程 $f(x)=0$ 的单根。

设已知方程 $f(x)=0$ 有近似根 $x_k$（$f^{\prime }(x_k)\ne 0$），将函数 $f(x)$ 在点 $x_k$ 展开，有：
$$f(x)\approx f(x_k)+f^{\prime }(x_k)(x-x_k)$$于是方程 $f(x)=0$ 可以近似表示为：
$$f(x_k)+f^{\prime }(x_k)(x-x_k)=0$$记其根为 $x_{k+1}$，则 $x_{k+1}$ 的计算公式为：
$$x_{k+1}=x_k-\frac{f(x_k)}{f^{\prime }(x_k)},k=0,1,\cdots$$

牛顿迭代法收敛的充分条件

定理3：设 $f(x)$ 在其零点 $x^{\ast }$ 的某邻域 S = { x ∣ ∣ x − x ∗ ∣ ≤ δ } S=\{x||x-x^*|\leq\delta\} S={x∣∣x−x∗∣≤δ} 内有二阶连续导数，且 $f^{\prime }(x^{\ast })\ne 0$ （即 $x^{\ast }$ 为单根），则牛顿迭代法在 $x^{\ast }$ 附近具有局部收敛性。

证明：牛顿迭代法的迭代函数为：
$$\begin{gathered} g(x)=x-\frac{f(x)}{f^{\prime }(x)} \\ {g}^{\prime }(x)=1-\frac{[f^{\prime }(x){]}^2-f(x)f^{\prime \prime }(x)}{[f^{\prime }(x){]}^2}=\frac{f(x)f^{\prime \prime }(x)}{[f^{\prime }(x){]}^2} \end{gathered}$$
假定 $x^{\ast }$ 是 $f(x)$ 的一个单根，即 $f(x^{\ast })=0$，$f^{\prime }(x^{\ast })\ne 0$，则由上式知 $g^{\prime }(x)=0$，于是由定理2得，牛顿迭代法在 $x^{\ast }$ 附近具有局部收敛性。

定理4：对方程 $f(x)=0$，若存在区间 $[a,b]$，使

（1）$f^{\prime \prime }(x)$ 在 $[a,b]$ 上连续；

（2）$f(a)f(b)<0$；

（3）对任意 $x\in [a,b]$，都有 $f^{\prime }(x)\ne 0$；

（4）$f^{\prime \prime }(x)$ 在 $[a,b]$ 上保号。

则当初值 $x_0\in [a,b]$ 且 $f(x_0)f^{\prime \prime }(x_0)>0$ 时，牛顿迭代法产生的迭代序列 { x k } \{x_k\} {xk​} 收敛于方程 $f(x)=0$ 在 $[a,b]$ 上的唯一实根 $x^{\ast }$。

牛顿迭代法的计算步骤：

（1）选定初始近似值 $x_0$，计算 $f_0=f(x_0),f_0^{\prime }=f^{\prime }(x_0)$

（2）迭代。按公式：$x_1=x_0-f_0/f_0^{\prime }$ 迭代一次，得新的近似值 $x_1$，计算 $f_1=f(x_1),f_1^{\prime }=f^{\prime }(x_1)$。

（3）控制。如果 $x_1$ 满足 $|\delta |<{\zeta }_1$ 或 $|f_1|<{\zeta }_2$，则终止迭代，以 $x_1$ 作为所求的根；否则转（4）。此处${\zeta }_1，{\zeta }_2$ 是允许误差，而
$$\delta =\{\begin{array}{l}|x_1-x_0|,当|x_1|<C时\\ \frac{|x_1-x_0|}{|x_1|},当|x_1|\ge C时\end{array}$$其中 $C$ 是取绝对误差或相对误差的控制常数，一般可取 $C=1$。

（4）修正。如果迭代次数达到预先指定的次数 $N$，或者 $f^{\prime }=0$，则方法失败；否则以 $(x_1,f_1,f_1^{\prime })$ 代替 $(x_0,f_0,f_0^{\prime })$ 转（2）继续迭代。

牛顿法的优点是收敛快，缺点一是每步迭代计算量大，缺点二是初始近似值 $x_0$ 只在根 $x^{\ast }$附近才能保证收敛。为克服这两个缺点，通常可用下述方法：

（1）简化牛顿法，也称平行弦法，其迭代公式为：
$$x_{k+1}=x_k-Cf(x_k),C\ne 0,k=0,1,\cdots$$迭代函数为：
$$g(x)=x-Cf(x)$$若 $|g^{\prime }(x)|=|1-C{f}^{\prime }(x)|<1$，即取 $0<C{f}^{\prime }(x)<2$，在根 $x^{\ast }$ 附近成立，则迭代法局部收敛。若取 $C=\frac{1}{f^{\prime }(x_0)}$，则称为简化牛顿法，其几何意义是用平行弦与 $x$ 轴交点作为 $x^{\ast }$ 的近似。

（2）牛顿下山法。 为了防止迭代发散，对迭代过程附加一项要求，即具有单调性：$|f(x_{k+1})|<|f(x_k)|$ 。将牛顿法的计算结果：
$${\bar{x}}_{k+1}=x_k-\frac{f(x_k)}{f^{\prime }(x_k)}$$与前一步的近似值 $x_k$ 适当加权平均作为新的改进值：
$$x_{k+1}=\lambda {\bar{x}}_{k+1}+(1-\lambda )x_k=x_k-\lambda \frac{f(x_k)}{f^{\prime }(x_k)}$$选择下山因子 $\lambda$ 时从 $\lambda =1$ 开始，逐次将 $\lambda$ 减半进行试算，直到能使下降条件满足为止，即满足单调下降性：$|f(x_{k+1})|<|f(x_k)|$ 。

弦割法（割线法）

设 $x_k,x_{k-1}$ 是 $f(x)=0$ 的近似根，利用 $f(x_k),f(x_{k-1})$ 构造一次插值多项式 $p_1(x)$，并用 $p_1(x)$ 的根作为 $f(x)=0$ 的新的近似根 $x_{k+1}$。由
$$p_1(x)=f(x_k)+\frac{f(x_k)-f(x_{k-1})}{x_k-x_{k-1}}(x-x_k)$$相当于在 $f(x)$ 曲线上取两点 $(x_k,f(x_k)),(x_{k-1},f(x_{k-1}))$ ，过这两点作割线。令 $p_1(x_{k+1})=0$，得
$$x_{k+1}=x_k-\frac{f(x_k)}{f(x_k)-f(x_{k-1})}(x_k-x_{k-1}),k=1,2,\cdots$$弦割法：牛顿法$x_{k+1}=x_k-\frac{f(x_k)}{f^{\prime }(x_k)}$ 中的导数 $f^{\prime }(x_k)$ 用差商 $\frac{f(x_k)-f(x_{k-1})}{x_k-x_{k-1}}$ 取代的结果。

$x_{k+1}$ 实际上是两点 $(x_k,f(x_k)),(x_{k-1},f(x_{k-1}))$ 的割线与 $x$ 轴交点的横坐标。

弦割法避免了求导数，但收敛速度不如牛顿法。

非线性方程组牛顿迭代法求根

考虑方程组 $\{\begin{array}{l}{f}_1(x_1,\cdots ,x_n)=0\\ \cdots \cdots \cdots \\ f_n(x_1,\cdots ,x_n)=0\end{array}$

其中 $f_1,f_2,\cdots ,f_n$ 均为 $(x_1,\cdots ,x_n)$ 的多元函数。用向量记号记 $X=(x_1,\cdots ,x_n{)}^T\in R^n,F=(f_1,\cdots ,f_n{)}^T$，可以写成
$$F(X)=0$$若已给出方程的一个近似根 $X^{(k)}=(x_1^k,\cdots ,x_n^{(k)})$，将函数 $F(X)$ 的分量 $f_i(x)(i=1,\cdots ,n)$ 在 $X^{(k)}$ 用多元函数泰勒展开并取线性部分，可表示为
$$\begin{gathered} F(X)\approx F(X^{(k)})+F^{\prime }(X^{(k)})(X-X^{(k)}) \\ 令右式等于0：F^{\prime }(X^{(k)})(X-X^{(k)})=-F(X^{(k)}) \end{gathered}$$其中 $F^{\prime }(X)$ 是 $f_1,f_2,\cdots ,f_n$ 的 $n\ast n$ 阶雅可比（Jacobi）矩阵：
$$F^{\prime }(X)=\frac{\partial (f_1,f_2,\cdots ,f_n)}{\partial (x_1,x_2,\cdots ,x_n)}=\left[\begin{array}{cccc}\frac{\partial f_1}{\partial x_1}& \frac{\partial f_1}{\partial x_2}& \cdots & \frac{\partial f_1}{\partial x_n}\\ \frac{\partial f_2}{\partial x_1}& \frac{\partial f_2}{\partial x_2}& \cdots & \frac{\partial f_2}{\partial x_n}\\ ⋮& ⋮& & ⋮\\ \frac{\partial f_n}{\partial x_1}& \frac{\partial f_n}{\partial x_2}& \cdots & \frac{\partial f_n}{\partial x_n}\end{array}\right]$$求解方程组，并记为 $X^{(k+1)}$，得
$$X^{(k+1)}=X^{(k)}-F^{\prime }(X^{(k)}{)}^{-1}F(X^{(k)}),k=0,1,\cdots$$

定理5：设 $F(X)$ 的定义域 $D\subset R^n$，$X^{\ast }\in D$ 满足 $F(X^{\ast })=0$，在 $X^{\ast }$ 的开邻域 $S_0\subset D$ 上 $F^{\prime }(X)$ 存在且连续，$F^{\prime }(X)$ 非奇异，则牛顿法生成的序列{$X^{(k)}$}在闭域 $S\subset S_0$ 上超线性收敛于 $X^{\ast }$。若还存在常数 $L>0$，使 $||F^{\prime }(X)-F^{\prime }(X^{\ast })||\le L\ast ||X-X^{\ast }||,\forall X\in S$，则{$X^{(k)}$} 至少平方收敛。

迭代法的收敛阶和加速收敛方式

定义：设迭代法 $x_{k+1}=g(x_k)$ 收敛于方程 $x=g(x)$ 的根 $x^{\ast }$，若存在常数 $p(p\ge 1)$ 和 $c(c>0)$，使得
$$\underset{k\to \infty }{\lim }\frac{|x^{\ast }-x_{k+1}|}{|x^{\ast }-x_k{|}^p}=c$$
则称该迭代过程是 $p$ 阶收敛的。特别的，$p=1(0<c<1)$ 时称线性收敛，$p>1$ 时称超线性收敛，$p=2$ 时称平方收敛。

迭代法的收敛速度依赖于迭代函数 $g(x)$ 的选取。 收敛阶越高，收敛速度就越快。

定理6：设 $x^{\ast }$ 是方程 $x=g(x)$ 的根，$g(x),g^{\prime }(x),\cdots ,g^{(p)}(x)$ 在 $x^{\ast }$ 的邻近连续，且 $g^{\prime }(x^{\ast })=g^{\prime \prime }(x^{\ast })=\cdots =g^{(p-1)}(x^{\ast })=0,g^{(p)}(x^{\ast })\ne 0$，则迭代法 $x_{k+1}=g(x_k)$ 在 $x^{\ast }$ 邻近是 $p$ 阶收敛的。

特别的，当 $0<|g^{\prime }(x^{\ast })|<1$ 时，迭代法是线性收敛的；当 $g^{\prime }(x^{\ast })=0,g^{\prime \prime }(x^{\ast })\ne 0$，迭代法是线性收敛的。

证明：由 $g^{\prime }(x^{\ast })=0$，可知迭代法 $x_{k+1}=g(x_k)$ 具有局部收敛性。

将 $g(x_k)$ 在根 $x^{\ast }$ 处泰勒展开，有
$$g(x_k)=g(x^{\ast })+\frac{g^{(p)}(\xi )}{p!}(x_k-x^{\ast }{)}^p,\xi 在x_k、x^{\ast }之间$$注意到 $g(x_k)=x_{k+1},g(x^{\ast })=x^{\ast }$，由上式得
$$x_{k+1}-x^{\ast }=\frac{g^{(p)}(\xi )}{p!}(x_k-x^{\ast }{)}^p\to \frac{g^{(p)}(x^{\ast })}{p!}(x_k-x^{\ast }{)}^p(k\to \infty )$$ 即迭代过程 $x_{k+1}=g(x_k)$ 在 $x^{\ast }$ 邻近是 $p$ 阶收敛的。

分析简单迭代法与牛顿迭代法的收敛速度：

简单迭代法：由 $x^{\ast }-x_{k+1}=g(x^{\ast })-g(x_k)=g^{\prime }({\zeta }_k)(x^{\ast }-x_k)$，得
$$\underset{k\to \infty }{\lim }\frac{|x^{\ast }-x_{k+1}|}{|x^{\ast }-x_k|}=\underset{k\to \infty }{\lim }|g^{\prime }({\zeta }_k)|=|g^{\prime }(x^{\ast })|$$所以当 $0<|g^{\prime }(x)|<1$ 时，简单迭代法线性收敛。

牛顿迭代法：（1）单根情形： 由 $g(x)=x-\frac{f(x)}{f^{\prime }(x)}$，知
$$g^{\prime }(x)=1-\frac{[f^{\prime }(x){]}^2-f(x)f^{\prime \prime }(x)}{[f^{\prime }(x){]}^2}=\frac{f(x)f^{\prime \prime }(x)}{[f^{\prime }(x){]}^2}$$$x^{\ast }$ 是 $f(x)$ 的一个单根，即 $f(x^{\ast })=0,f^{\prime }(x^{\ast })\ne 0$，则由上式知
$$g^{\prime }(x^{\ast })=0,g^{\prime \prime }(x^{\ast })=\frac{f^{\prime \prime }(x^{\ast })}{f^{\prime }(x^{\ast })}$$表明牛顿迭代法在零点 $x^{\ast }$ 的邻近是平方收敛的。
$$\underset{k\to \infty }{\lim }\frac{x_{k+1}-x^{\ast }}{(x_k-x^{\ast }{)}^2}=\frac{g^{\prime \prime }(x^{\ast })}{2}=\frac{f^{\prime \prime }(x^{\ast })}{2f^{\prime }(x^{\ast })}$$（2）重根形式： 设 $f(x)=(x-x^{\ast }{)}^{m}q(x)$，整数 $m\ge 2,q(x^{\ast })\ne 0$，则 $x^{\ast }$ 为方程 $f(x)=0$ 的m重根
$$\begin{gathered} g(x)=x-\frac{f(x)}{f^{\prime }(x)} \\ {g}^{\prime }(x^{\ast })=\frac{f(x)f^{\prime \prime }(x)}{[f^{\prime }(x){]}^2}{|}_{x=x^{\ast }}=\frac{m(m-1)(x-x^{\ast }{)}^{2m-2}q(x)+2m(x-x^{\ast }{)}^{2m-1}{q}^{\prime }(x)q(x)+(x-x^{\ast }{)}^{2m}q(x)q^{\prime \prime }(x)}{m^2(x-x^{\ast }{)}^{2m-2}q(x{)}^2+(x-x^{\ast }{)}^{2m}{q}^{\prime }(x{)}^2+2m(x-x^{\ast }{)}^{2m-1}q(x)q^{\prime }(x)}{|}_{x=x^{\ast }} \\ =\frac{m(m-1)q(x)+2m(x-x^{\ast })q^{\prime }(x)q(x)+(x-x^{\ast }{)}^{2}q(x)q^{\prime \prime }(x)}{m^{2}q(x{)}^2+(x-x^{\ast }{)}^2{q}^{\prime }(x{)}^2+2m(x-x^{\ast })q(x)q^{\prime }(x)}{|}_{x=x^{\ast }}=1-\frac{1}{m}\ne 0,|g^{\prime }(x^{\ast })|<1 \end{gathered}$$所以当 $x^{\ast }$ 为 $f(x)=0$ 的 $m(m\ge 2)$ 重零点，$f(x)$ 在其零点 $x^{\ast }$ 的某邻域内有二阶连续导数，则牛顿法局部线性收敛，为使其仍然二次收敛，需对其修正。

若已知重根数 $m$：取 $g(x)=x-m\frac{f(x)}{f^{\prime }(x)}$，可得：
$$g^{\prime }(x^{\ast })=1-m\ast \frac{[f^{\prime }(x){]}^2-f(x)f^{\prime \prime }(x)}{[f^{\prime }(x){]}^2}=1-m+m\ast \frac{f(x)f^{\prime \prime }(x)}{[f^{\prime }(x){]}^2}=1-m+m\ast (1-\frac{1}{m})=0$$则迭代法：
$$x_{k+1}=x_k-\frac{mf(x_k)}{f^{\prime }(x_k)},k=0,1,\cdots$$是局部二次收敛的。

若重根数 $m$ 未知： 令 $F(x)=\frac{f(x)}{f^{\prime }(x)}$，若 $x^{\ast }$ 是 $f(x)=0$ 的 $m$ 重根，则
$$F(x)=\frac{(x-x^{\ast }{)}^{m}q(x)}{m(x-x^{\ast }{)}^{m-1}q(x)+(x-x^{\ast }{)}^m{q}^{\prime }(x)}=\frac{(x-x^{\ast })q(x)}{mq(x)+(x-x^{\ast })q^{\prime }(x)}$$得到 $x^{\ast }$ 是 $F(x)=0$ 的单根，用牛顿法，其迭代函数为：
$$g(x)=x-\frac{F(x)}{F^{\prime }(x)}=x-\frac{\frac{f(x)}{f^{\prime }(x)}}{\frac{[f^{\prime }(x){]}^2-f(x)f^{\prime \prime }(x)}{[f^{\prime }(x){]}^2}}=x-\frac{f(x)f^{\prime }(x)}{[f^{\prime }(x){]}^2-f(x)f^{\prime \prime }(x)}$$从而可构造迭代法
$$x_{k+1}=x_k-\frac{f(x)f^{\prime }(x)}{[f^{\prime }(x){]}^2-f(x)f^{\prime \prime }(x)},k=0,1,\cdots$$是二阶收敛的。

迭代加速方法

1、艾特肯（Aitken）加速方法：对于收敛于 $x^{\ast }$ 的不动点迭代法 $x_{k+1}=g(x_k)$，设 $x_k$ 是根 $x^{\ast }$ 的某个近似值，用迭代公式校正一次得：
$$x_{k+1}=g(x_k)$$由微分中值定理得
$$x_{k+1}-x^{\ast }=g(x_k)-g(x^{\ast })=g^{\prime }(\zeta )(x_k-x^{\ast }),\zeta 介于x_k、x^{\ast }之间$$假定 $g^{\prime }(x)$ 改变不大，近似去某个近似值 $L$，则有
$$x_{k+1}-x^{\ast }\approx L(x_k-x^{\ast })\text{\hspace{1em}(1)}$$再进行一次校正，得
$$\begin{gathered} x_{k+2}=g(x_{k+1}) \\ {x}_{k+2}-x^{\ast }\approx L(x_{k+1}-x^{\ast }) \end{gathered}$$与（1）式联立消去未知的 $L$ ，有
$$\begin{gathered} \frac{x^{\ast }-x_{k+1}}{x^{\ast }-x_k}=\frac{x^{\ast }-x_{k+2}}{x^{\ast }-x_{k+1}} \\ {x}^{\ast }\approx \frac{x_k{x}_{k+2}-x_{k+1}^2}{x_{k+2}-2x_{k+1}+x_k}=x_k-\frac{(x_{k+1}-x_k{)}^2}{x_{k+2}-2x_{k+1}+x_k} \end{gathered}$$可用上式右端作为 $x^{\ast }$ 的新近似：${\tilde{x}}_k=x_k-\frac{(x_{k+1}-x_k{)}^2}{x_{k+2}-2x_{k+1}+x_k}$。这被称为艾特肯（Aitken）加速方法。

2、斯蒂芬森（Steffensen）方法：也称为艾特肯算法，把艾特肯加速技巧与不动点迭代结合，可得：$\{\begin{array}{l}{y}_k=g(x_k)\\ z_k=g(y_k)\\ x_{k+1}=x_k-\frac{(y_k-x_k{)}^2}{z_k-2y_k+x_k}\end{array}(k=0,1,2,\cdots )$

也可将其写成另一种不动点迭代：
$$\begin{gathered} x_{k+1}=g(x_k)(k=0,1,2,\cdots ) \\ 其中g(x)=x-\frac{(g(x)-x{)}^2}{g(g(x))-2g(x)+x} \end{gathered}$$