二分法
求解 f ( x ) = 0 f(x)=0 f(x)=0,首先取一段区间 [ a , b ] [a,b] [a,b],若 f ( a ) f ( b ) ≤ 0 f(a)f(b)\le0 f(a)f(b)≤0,说明 [ a , b ] [a,b] [a,b] 区间上存在零点。通过不断地把函数零点所在的区间一分为二,使区间的两个端点逐步逼近零点,进而得到零点近似值。
假设 a 0 = a a_0=a a0=a, b 0 = b b_0=b b0=b,第 k k k 步迭代的零点区间为 [ a k , b k ] [a_k,b_k] [ak,bk],近似解为 x k = a k + b k 2 x_k=\frac{a_k+b_k}{2} xk=2ak+bk,精确解为 x ∗ ∈ [ a k , b k ] x^\ast\in[a_k,b_k] x∗∈[ak,bk]。则 ∣ x k − x ∗ ∣ = ∣ a k + b k 2 − x ∗ ∣ ≤ b k − a k 2 = b k − 1 − a k − 1 2 2 = ⋯ = b 0 − a 0 2 k + 1 = b − a 2 k + 1 |x_k-x^\ast|=\left|\frac{a_k+b_k}{2}-x^\ast\right|\le\frac{b_k-a_k}{2}=\frac{b_{k-1}-a_{k-1}}{2^2}=\cdots=\frac{b_0-a_0}{2^{k+1}}=\frac{b-a}{2^{k+1}} ∣xk−x∗∣=∣∣2ak+bk−x∗∣∣≤2bk−ak=22bk−1−ak−1=⋯=2k+1b0−a0=2k+1b−a,对于给定的精度 ε \varepsilon ε,可估计二分法所需的步数 b − a 2 k + 1 ≤ ε \frac{b-a}{2^{k+1}}\le\varepsilon 2k+1b−a≤ε,即 k ≥ log 2 b − a ε − 1 k\ge\log_2\frac{b-a}{\varepsilon}-1 k≥log2εb−a−1,取 k = ⌈ log 2 b − a ε ⌉ − 1 k=\left\lceil\log_2\frac{b-a}{\varepsilon}\right\rceil-1 k=⌈log2εb−a⌉−1。
这里并不打算花费过多笔墨介绍二分法,二分法原理简单,其用途不仅仅于求解非线性方程;二分法在算法竞赛中也有广泛的应用,许多具有单调性的讨论都可用二分法解决。
试值法
由于二分法收敛速度相对较慢,因此试值法对他进行了改进。
若在区间 [ a , b ] [a,b] [a,b] 上有 f ( a ) f ( b ) < 0 f(a)f(b)<0 f(a)f(b)<0,则考虑经过 ( a , f ( a ) ) (a,f(a)) (a,f(a)) 和 ( b , f ( b ) ) (b,f(b)) (b,f(b)) 的割线与 x x x 轴的交点 ( c , 0 ) (c,0) (c,0) 为更好的近似值。割线方程为 y − f ( b ) = f ( b ) − f ( a ) b − a ( x − b ) y-f(b)=\frac{f(b)-f(a)}{b-a}(x-b) y−f(b)=b−af(b)−f(a)(x−b),令 y = 0 y=0 y=0 得 c = b − f ( b ) ( b − a ) f ( b ) − f ( a ) c=b-\frac{f(b)(b-a)}{f(b)-f(a)} c=b−f(b)−f(a)f(b)(b−a)。
若 f ( a ) f ( c ) < 0 f(a)f(c)<0 f(a)f(c)<0,则在 [ a , c ] [a,c] [a,c] 内有一个零点;若 f ( b ) f ( c ) < 0 f(b)f(c)<0 f(b)f(c)<0,则 [ c , b ] [c,b] [c,b] 内有一个零点。
不动点迭代
对于非线性方程 f ( x ) = 0 f(x)=0 f(x)=0,将其等价变换为 x = g ( x ) x=g(x) x=g(x), g g g 的不动点 x ∗ x^\ast x∗ 就是 f ( x ) = 0 f(x)=0 f(x)=0 的解。从一个初始值 x 0 x_0 x0 出发,令 x k + 1 = g ( x k ) x_{k+1}=g(x_k) xk+1=g(xk),不断迭代;若 { x k } \{x_k\} {xk} 收敛,即存在 x ∗ x^\ast x∗ 使得 lim k → ∞ x k = x ∗ \lim\limits_{k\to\infty}x_k=x^\ast k→∞limxk=x∗;根据迭代数列的产生方式, lim k → ∞ x k + 1 = lim k → ∞ g ( x k ) \lim\limits_{k\to\infty}x_{k+1}=\lim\limits_{k\to\infty}g(x_k) k→∞limxk+1=k→∞limg(xk),可知 x ∗ = g ( x ∗ ) x^\ast=g(x^\ast) x∗=g(x∗), x ∗ x^\ast x∗ 就是 g g g 的不动点。
不动点存在性
设 g ∈ C [ a , b ] g\in C[a,b] g∈C[a,b]。如果对于所有 x ∈ [ a , b ] x\in[a,b] x∈[a,b],映射 y = g ( x ) y=g(x) y=g(x) 的范围满足 y ∈ [ a , b ] y\in[a,b] y∈[a,b],则函数 g g g 在 [ a , b ] [a,b] [a,b] 内有一个不动点;此外,设 g ′ ( x ) g'(x) g′(x) 定义在 ( a , b ) (a,b) (a,b) 内,且对于所有 x ∈ ( a , b ) x\in(a,b) x∈(a,b),存在常数 0 ≤ K < 1 0\le K<1 0≤K<1,使得 ∣ g ′ ( x ) ∣ ≤ K < 1 |g'(x)|\le K<1 ∣g′(x)∣≤K<1,则函数 g g g 在 [ a , b ] [a,b] [a,b] 内有唯一的不动点。
证明 取 f ( x ) = g ( x ) − x f(x)=g(x)-x f(x)=g(x)−x,故 f ( a ) = g ( a ) − a ≥ 0 f(a)=g(a)-a\ge0 f(a)=g(a)−a≥0, f ( b ) = g ( b ) − b ≤ 0 f(b)=g(b)-b\le0 f(b)=g(b)−b≤0,所以 [ a , b ] [a,b] [a,b] 上存在 f f f 的零点,即 [ a , b ] [a,b] [a,b] 上存在 g g g 的不动点。假设在 [ a , b ] [a,b] [a,b] 上有两个不动点 P 1 , P 2 P_1,P_2 P1,P2,根据中值定理,存在 ξ ∈ ( a , b ) \xi\in(a,b) ξ∈(a,b), g ′ ( ξ ) = g ( P 1 ) − g ( P 2 ) P 1 − P 2 = 1 g'(\xi)=\frac{g(P_1)-g(P_2)}{P_1-P_2}=1 g′(ξ)=P1−P2g(P1)−g(P2)=1,这与 ∣ g ′ ( x ) ∣ < 1 |g'(x)|<1 ∣g′(x)∣<1 矛盾,故存在唯一不动点。
收敛阶
不动点迭代中,若迭代数列收敛,且对于真实值 x ∗ x^\ast x∗ 有 g ( x ∗ ) ≠ 0 g(x^\ast)\neq 0 g(x∗)=0。则 e k + 1 = x k + 1 − x ∗ = g ( x k ) − g ( x ∗ ) e_{k+1}=x_{k+1}-x^\ast=g(x_k)-g(x^\ast) ek+1=xk+1−x∗=g(xk)−g(x∗),由中值定理,存在 ξ ∈ ( min ( x k , x ∗ ) , max ( x k , x ∗ ) ) \xi\in(\min(x_k,x^\ast),\max(x_k,x^\ast)) ξ∈(min(xk,x∗),max(xk,x∗)) 使得 g ′ ( ξ ) = g ( x k ) − g ( x ∗ ) x k − x ∗ g'(\xi)=\frac{g(x_k)-g(x^\ast)}{x_k-x^\ast} g′(ξ)=xk−x∗g(xk)−g(x∗),故 e k + 1 = g ′ ( ξ ) ⋅ e k e_{k+1}=g'(\xi)\cdot e_k ek+1=g′(ξ)⋅ek。于是 lim k → ∞ ∣ e k + 1 e k ∣ = g ′ ( x ∗ ) ≠ 0 \lim\limits_{k\to\infty}|\frac{e_{k+1}}{e_k}|=g'(x^\ast)\neq 0 k→∞lim∣ekek+1∣=g′(x∗)=0,不动点迭代是线性收敛的。