数值分析重难点总结「二」

数值分析重难点总结「二」

六、插值法

在工程应用中，常用一个简单的函数 $y=y(x)$ 来近似代替函数 $y=f(x)$，使得
$$y(x_i)=f(x_i),i=0,1,2,\cdots ,n$$
称函数 $y=y(x)$ 为函数 $y=f(x)$ 在点 $x_0,x_1,\cdots ,x_n$ 处的插值函数。

1. Lagrange 插值

引进记号 $P_{n+1}(x)=\prod _{i=0}^n(x-x_i)=(x-x_0)(x-x_1)\cdots (x-x_n)$，则有 $P_{n+1}^{\prime }(x_j)=\prod _{i=0,i\ne j}^n(x_j-x_i)=(x_j-x_0)\cdots (x_j-x_{j-1})(x_j-x_{j+1})\cdots (x_j-x_n)$

令 $l_j(x)=\frac{(x-x_0)\cdots (x-x_{j-1})(x-x_{j+1})\cdots (x-x_n)}{(x_j-x_0)\cdots (x_j-x_{j-1})(x_j-x_{j+1})\cdots (x_j-x_n)}$

$=\prod _{i=0,i\ne j}^n\frac{x-x_i}{x_j-x_i}=\frac{P_{n+1}(x)}{(x-x_j)P_{n+1}^{\prime }(x_j)},j=0,1,2,\cdots ,n$

则 $l_j(x)$ 是 $n$ 次多项式，且 $l_j(x_i)=\{\begin{array}{l}1,j=i,\\ 0,j\ne i,\end{array}$ 称 $l_0(x),l_1(x),\cdots ,l_n(x)$ 为 Lagrange 插值基函数。令

$$y(x)=\sum _{j=0}^n{l}_j(x)f(x_j)$$

则 $y(x_i)=f(x_i)$，称之为 Lagrange 插值多项式，记为 $L_n(x)$.

当 $n=1$ 时，$L_1(x)$ 为线性插值 $L_1(x)=\frac{x-x_1}{x_0-x_1}f(x_0)+\frac{x-x_0}{x_1-x_0}f(x_1).$

当 $n=2$ 时，$L_2(x)$ 为二次插值，即抛物线插值

$$L_2(x)=\frac{(x-x_1)(x-x_2)}{(x_0-x_1)(x_0-x_2)}f(x_0)+\frac{(x-x_0)(x-x_2)}{(x_1-x_0)(x_1-x_2)}f(x_1)+\frac{(x-x_0)(x-x_1)}{(x_2-x_0)(x_2-x_1)}f(x_2)$$

Lagrange 插值的插值余项为：

$$E(x)=f(x)-y(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}{P}_{n+1}(x),\forall x\in [a,b]$$

其中 $P_{n+1}(x)=\prod _{i=0}^n(x-x_i)$，$\xi \in [a,b]$ 且与 $x$ 有关。

2. Newton 插值

一阶差商：$f[x_0,x_1]=\frac{f(x_0)-f(x_1)}{x_0-x_1}$

二阶差商：$f[x_0,x_1,x_2]=\frac{f[x_0,x_1]-f[x_1,x_2]}{x_0-x_2}$

$k$ 阶差商： $f[x_0,x_1,\cdots ,x_{k-1},x_k]=\frac{f[x_0,x_1,\dots ,x_{k-1}]-f[x_1,x_2,\dots ,x_k]}{x_0-x_k}$

差商有以下性质：

1) $k$ 阶差商可表示为 $f(x_0),f(x_1),\cdots ,f(x_n)$ 的线性组合，即：$f[x_0,x_1,\cdots ,x_k]=\sum _{i=0}^k\frac{f(x_i)}{P_{k+1}^{\prime }(x_i)}.$

2) 差商有对称性：$f[x_0,x_1,\cdots ,x_k]=f[x_1,x_0,\cdots ,x_k]=f[x_1,x_2,\dots ,x_k,x_0].$

3) $f[x_0,x_1,\cdots ,x_k]=\frac{f^{(k)}(\xi )}{k!}$，其中 $\xi$ 与节点 $x_0,x_1,\cdots ,x_k$ 有关。

Newton 插值多项式为：
$$\begin{array}{rl}{N}_n(x)=& f(x_0)+f[x_0,x_1](x-x_0)+f[x_0,x_1,x_2](x-x_0)(x-x_1)+\cdots +\\ & f[x_0,x_1,\cdots ,x_n](x-x_0)(x-x_1)\cdots (x-x_{n-1})\end{array}$$

计算差商时，可以作如下差商表：

$x_i$	$f(x_i)$	一阶差商	二阶差商	三阶差商
$x_0$	$f(x_0)$
$x_1$	$f(x_1)$	$f[x_0,x_1]$
$x_2$	$f(x_2)$	$f[x_1,x_2]$	$f[x_0,x_1,x_2]$
$x_3$	$f(x_3)$	$f[x_2,x_3]$	$f[x_1,x_2,x_3]$	$f[x_0,x_1,x_2,x_3]$
$⋮$	$⋮$	$⋮$	$⋮$	$⋮$

其余项

$$E(x)=f(x)-N_n(x)=f[x,x_0,x_1,\cdots ,x_n]P_{n+1}(x)$$

根据插值多项式的唯一性，虽然 Lagrange 插值多项式与 Newton 插值多项式的构造方式不同，但必有 $N_n(x)\equiv L_n(x)$，因此

$$f[x_0,x_1,\cdots ,x_n]=\sum _{i=0}^n\frac{f(x_i)}{P_{n+1}^{\prime }(x_i)},f[x,x_0,x_1,\cdots ,x_n]=\frac{f^{(n+1)}(\xi )}{(n+1)!}$$

3. Hermite 插值

给定的函数关系中含有导数的插值即称为 Hermite 插值。

待定系数法：

求满足 $P(x_0)=f(x_0),P(x_1)=f(x_1)$ 及 $ P’(x_0)=f’(x_0)$ 的次数不超过2次的插值多项式 $P(x)$.

也即求 Hermite 两点两次插值，令 $H_2(x)=h_0(x)f(x_0)+h_1(x)f(x_1)+{\overline{h}}_0(x)f^{\prime }(x_0)$.

可知
$$\{\begin{array}{ll}{H}_2(x_0)=f(x_0)& \Rightarrow h_0(x_0)=1,h_1(x_0)=0,{\overline{h}}_0(x_0)=0\\ H_2(x_1)=f(x_1)& \Rightarrow h_0(x_1)=0,h_1(x_1)=1,{\overline{h}}_0(x_1)=0\\ H_2^{\prime }(x_0)=f^{\prime }(x_0)& \Rightarrow h_0^{\prime }(x_0)=0,h_1^{\prime }(x_0)=0,{\overline{h}}_0^{\prime }(x_0)=1\end{array}$$
求解，得
$h_0(x)=1-\frac{(x-x_0{)}^2}{(x_1-x_0{)}^2},h_1(x)=\frac{(x-x_0{)}^2}{(x_1-x_0{)}^2},{\overline{h}}_0(x)=\frac{(x-x_0)(x-x_1)}{(x_0-x_1)}$
即 $P(x)=H_2(x)=[1-\frac{(x-x_0{)}^2}{(x_1-x_0{)}^2}]f(x_0)+\frac{(x-x_0{)}^2}{(x_1-x_0{)}^2}f(x_1)+\frac{(x-x_0)(x-x_1)}{(x_0-x_1)}{f}^{\prime }(x_0)$

两点三次插值：
$$\begin{array}{rl}{H}_3(x)=& (1+2\frac{x-x_0}{x_1-x_0})(\frac{x-x_1}{x_0-x_1}{)}^{2}f(x_0)+(1+2\frac{x-x_1}{x_0-x_1})(\frac{x-x_0}{x_1-x_0}{)}^{2}f(x_1)+\\ & (x-x_0)(\frac{x-x_1}{x_0-x_1}{)}^2{f}^{\prime }(x_0)+(x-x_1)(\frac{x-x_0}{x_1-x_0}{)}^2{f}^{\prime }(x_1)\end{array}$$

*带重节点的差商表：

首先明确一个定义，之前提到差商的性质时，有一条性质为：$f[x_0,x_1,\dots ,x_n]=\frac{f^{(n)}(\xi )}{n!}$.

因此，利用这条性质可以得到：$f[x_i,x_i,\dots ,x_i]=\frac{f^{(n)}(x_i)}{n!}$.

例如，给定了 $f^{{}^{\prime }}(x_1)=y_1^{{}^{\prime }}$ ，则作出的重差商表为：

$x_i$	$f(x_i)$	一阶差商	二阶差商	三阶差商
$x_0$	$f(x_0)$
$x_1$	$f(x_1)$	$f[x_0,x_1]$
$x_1$	$f(x_1)$	$f[x_1,x_1]$	$f[x_0,x_1,x_1]$
$x_2$	$f(x_2)$	$f[x_1,x_2]$	$f[x_1,x_1,x_2]$	$f[x_0,x_1,x_1,x_2]$
$⋮$	$⋮$	$⋮$	$⋮$	$⋮$

利用此法要比书上所说的待定系数求得插值多项式的方法简单很多。

七、函数逼近与曲线拟合

1. 函数的内积与范数

定义 7.2 设 $f(x),g(x)\in C[a,b]$，称
$$(f,g)={\int }_a^b\rho (x)f(x)g(x)\mathrm{d}x$$
为函数 $f(x),g(x)$ 在 $[a,b]$ 上的内积，其中 $\rho (x)$ 为有权函数，计算时一般不带权，其取值恒为 1.

定义 7.3 设 $f(x)$ 在 $C[a,b]$ 上的范数定义为
$$\begin{array}{rl}||f|{|}_1=& {\int }_a^b|f(x)|\mathrm{d}x\\ ||f|{|}_2=& {\left[{\int }_a^b{f}^2(x)\mathrm{d}x\right]}^{\frac{1}{2}}\\ ||f|{|}_{\infty }=& \underset{a\in [a,b]}{\max }|f(x)|\end{array}$$

2. 最佳平方逼近

函数的最佳平方逼近，列出法方程，也称为正则方程：
$$\left[\begin{array}{cccc}({\phi }_0,{\phi }_0)& ({\phi }_0,{\phi }_1)& \cdots & ({\phi }_0,{\phi }_m)\\ ({\phi }_1,{\phi }_0)& ({\phi }_1,{\phi }_1)& \cdots & ({\phi }_1,{\phi }_m)\\ ⋮& ⋮& \ddots & ⋮\\ ({\phi }_m,{\phi }_0)& ({\phi }_m,{\phi }_1)& \cdots & ({\phi }_m,{\phi }_m)\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ ⋮\\ a_m\end{array}\right]=\left[\begin{array}{c}(f,{\phi }_0)\\ (f,{\phi }_1)\\ ⋮\\ (f,{\phi }_m)\end{array}\right]$$

方程组存在一组唯一解 $a_0^{\ast },a_1^{\ast },\cdots ,a_m^{\ast }$，平方误差为

$$||E(x)|{|}_2^2=||f|{|}_2^2-\sum _{j=0}^m(f,{\phi }_j)a_j^{\ast }$$

若取基函数空间 Φ m = span { 1 , x , x 2 , ⋯   , x n } ,   ρ ( x ) ≡ 1 ,   f ( x ) ∈ C [ 0 , 1 ] \Phi_m=\text{span}\{1,x,x^2,\cdots,x^n\},\ \rho(x)\equiv 1,\ f(x)\in C[0,1] Φm​=span{1,x,x2,⋯,xn}, ρ(x)≡1, f(x)∈C[0,1] ，则有：

$$\left[\begin{array}{cccc}1& \frac{1}{2}& \cdots & \frac{1}{n}\\ \frac{1}{2}& \frac{1}{3}& \cdots & \frac{1}{n+1}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{1}{n}& \frac{1}{n+1}& \cdots & \frac{1}{2n-1}\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ ⋮\\ a_n\end{array}\right]=\left[\begin{array}{c}(f,{\phi }_0)\\ (f,{\phi }_1)\\ ⋮\\ (f,{\phi }_n)\end{array}\right]$$

3. 数据拟合与最小二乘法

列出法方程，也称为正则方程的矩阵形式为：

$$\left[\begin{array}{cccc}({\phi }_0,{\phi }_0)& ({\phi }_0,{\phi }_1)& \cdots & ({\phi }_0,{\phi }_m)\\ ({\phi }_1,{\phi }_0)& ({\phi }_1,{\phi }_1)& \cdots & ({\phi }_1,{\phi }_m)\\ ⋮& ⋮& \ddots & ⋮\\ ({\phi }_m,{\phi }_0)& ({\phi }_m,{\phi }_1)& \cdots & ({\phi }_m,{\phi }_m)\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ ⋮\\ a_m\end{array}\right]=\left[\begin{array}{c}(f,{\phi }_0)\\ (f,{\phi }_1)\\ ⋮\\ (f,{\phi }_m)\end{array}\right]$$

方程组存在一组唯一解 $a_0^{\ast },a_1^{\ast },\cdots ,a_m^{\ast }$，数据拟合的平方误差为

$$||E(x)|{|}_2^2=||f|{|}_2^2-\sum _{j=0}^m{a}_j^{\ast }(f,{\phi }_j)$$

取 Φ m = span { 1 , x , x 2 , ⋯   , x m } ,   ω i ( x ) ≡ 1 , m < n \Phi_m=\text{span}\{1,x,x^2,\cdots,x^m\},\ \omega_i(x)\equiv 1,m<n Φm​=span{1,x,x2,⋯,xm}, ωi​(x)≡1,m<n，法方程为：

$$\left[\begin{array}{cccc}n+1& \sum _{i=0}^n{x}_i& \cdots & \sum _{i=0}^n{x}_i^m\\ \sum _{i=0}^N{x}_i& \sum _{i=0}^n{x}_i^2& \cdots & \sum _{i=0}^n{x}_i^{m+1}\\ ⋮& ⋮& \ddots & ⋮\\ \sum _{i=0}^n{x}_i^m& \sum _{i=0}^n{x}_i^{m+1}& \cdots & \sum _{i=0}^n{x}_i^{2m}\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ ⋮\\ a_n\end{array}\right]=\left[\begin{array}{c}\sum _{i=0}^n{f}_i\\ \sum _{i=0}^n{f}_i{x}_i\\ ⋮\\ \sum _{i=0}^n{f}_i{x}_i^m\end{array}\right]$$

八、数值积分与数值微分

1. 代数精度

定义 8.1 对于 ${\int }_a^{b}f(x)\mathrm{d}x\approx \sum _{k=0}^n{A}_{k}f(x_k)$ 的数值求积公式近似表示求积结果，$x_k$ 为求积节点，$A_k$ 为求积系数。
若该求积公式对于任意 $f(x)=P_r(x)$ 精确成立，即 ${\int }_a^b{P}_r(x)dx=\sum _{k=0}^n{A}_k{P}_r(x_k)$ ，但是至少有一个 $f(x)=P_{r+1}(x)$ 不精确成立，即 ${\int }_a^b{P}_{r+1}(x)dx\ne \sum _{k=0}^n{A}_k{P}_{r+1}(x_k)$ ，则称该求积公式具有 $r$ 次代数精度，其中 $P_r(x)$ 表示 $r$ 次多项式。

定理 8.1 对任意给定的 $n+1$ 个相异节点 $a⩽x_0<x_1<\cdots <x_n⩽b$，总存在相应的求积系数 $A_0，A_1,\cdots ,A_n$ 使求积公式至少具有 n 次代数精度。

2. 求解求积公式的节点或系数

列线性方程组

$$\{\begin{array}{llcccc}{A}_0& +A_1& +\cdots & +A_n& ={\int }_a^{b}1\mathrm{d}x& =b-a\\ A_0{x}_0& +A_1{x}_1& +\cdots & +A_n{x}_n& ={\int }_a^{b}x\mathrm{d}x& =\frac{1}{2}(b^2-a^2)\\ A_0{x}_0^2& +A_1{x}_1^2& +\cdots & +A_n{x}_n^2& ={\int }_a^b{x}^2\mathrm{d}x& =\frac{1}{3}(b^3-a^3)\\ & & \cdots & \cdots & \cdots & \\ A_0{x}_0^n& +A_1{x}_1^n& +\cdots & +A_n{x}_n^n& ={\int }_a^b{x}^n\mathrm{d}x& =\frac{1}{n+1}(b^{n+1}-a^{n+1})\end{array}$$

3. Newton-Cotes求积公式

将区间 $[a,b]n$ 等分，步长 $h=\frac{b-a}{n}$.

易知，$n=1$ 时，求积公式为梯形公式：

$${\int }_a^{b}f(x)\mathrm{d}x\approx \frac{b-a}{2}\left[f(a)+f(b)\right]$$

余项为：

$$E[f]=-\frac{h^3}{12}{f}^{\prime \prime }(\eta ),\eta \in (a,b)$$

$n=2$ 时，求积公式为 Simpson 公式

$${\int }_a^{b}f(x)\mathrm{d}x\approx \frac{b-a}{6}\left[f(a)+4f\left(\frac{a+b}{2}\right)+f(b)\right]$$

余项为：

$$E[f]=-\frac{h^5}{90}{f}^{(4)}(\eta ),\eta \in (a,b)$$

$n=4$ 时，求积公式为 Cotes 公式

$${\int }_a^{b}f(x)\mathrm{d}x=\frac{b-a}{90}\left[7f(x_0)+32f(x_1)+12f(x_2)+32f(x_3)+7f(x_4)\right]-\frac{8h^7}{945}{f}^{(6)}(\eta )$$

其中，$x_i=a+i\frac{b-a}{4}(i=0,1,2,3,4).$

4. 复化求积公式

将积分区间 $[a,b]$ 划分为 $n$ 等分，步长 $h=\frac{b-a}{n}$ ，分点为 $x_i=a+ih,i=0,1,2,\cdots ,n$ . 所谓复化求积法，是指先用低阶的 Newton-Cotes 公式求得每个子区间 $[x_i,x_{i+1}]$ 上的积分值 $I_i$ ，然后再求和，用 $\sum _{i=0}^{n-1}{I}_i$ 作为所求积分 $I$ 的近似值．则有：

复化梯形公式：

$$T_n=\sum _{i=0}^{n-1}\frac{h}{2}\left[f(x_i)+f(x_{i+1})\right]=\frac{h}{2}\left[f(a)+2\sum _{i=1}^{n-1}f(x_i)+f(b)\right]$$

余项为：

$$E[f]=I-T_n=-\frac{b-a}{12}{h}^2{f}^{\prime \prime }(\eta ),\eta \in (a,b)$$

复化Simpson公式：

$$\begin{array}{rl}{S}_n& =\sum _{i=0}^{n-1}\frac{h}{6}\left[f(x_i)+4f\left(x_{i+\frac{1}{2}}\right)+f(x_{i+1})\right]\\ & =\frac{h}{6}\left[f(a)+4\sum _{i=0}^{n-1}f\left(x_{i+\frac{1}{2}}\right)+2\sum _{i=1}^{n}f\left(x_{i+1}\right)+f(b)\right]\end{array}$$

余项为：

$$E[f]=I-S_n=-\frac{b-a}{2880}{h}^4{f}^{(4)}(\eta ),\eta \in (a,b)$$

5. Romberg 求积公式

实际计算中，一般并不需要使用 Simpson 公式与 Cotes 公式，而是可以由递推技巧，仅需计算梯形公式就能一步一步推导得到 Romberg 公式结果，其推导公式为

$$\{\begin{array}{l}{S}_n=\frac{4}{3}{T}_{2n}-\frac{1}{3}{T}_n\\ C_n=\frac{16}{15}{S}_{2n}-\frac{1}{15}{S}_n\\ R_n=\frac{64}{63}{C}_{2n}-\frac{1}{63}{C}_n\\ \cdots \end{array}$$

其中，$T_n$ 为复化梯形公式的求积结果，$n=1,2,\cdots ,n$. 故要计算 $R_1$，仅需计算 $T_1,T_2,T_4,T_8$ 即可。一般可以列出如下的表格进行计算：

$T_n$	$S_n$	$C_n$	$R_n$
$T_1$
$T_2$	$S_1$
$T_4$	$S_2$	$C_1$
$T_8$	$S_4$	$C_2$	$R_1$

6. Gauss 型求积公式

定义 8.3 若求积公式

$${\int }_a^{b}f(x)\mathrm{d}x=\sum _{j=0}^n{A}_{j}f(x_j)+E(f)$$

具有 $2n+1$ 次的代数精度，则称此求积公式为 Gauss 型求积公式，相应的求积节点 $x_j$ 称为 Gauss 点。

Gauss_Legendre 求积公式：

节点数	$x_j$	$A_j$
$1$	$0$	$2$
$2$	$\pm 0.5773502692$	$1$
$3$	$$\begin{gathered} \pm 0.7745966692 \\ 0 \end{gathered}$$	$$\begin{gathered} 0.5555555556 \\ 0.8888888889 \end{gathered}$$

7. 数值微分

插值型数值微分：

两点公式 $(n=1)$ ：

$$\{\begin{array}{l}{f}^{\prime }(x_0)=\frac{1}{h}[f(x_1)-f(x_0)]-\frac{h}{2}{f}^{\prime \prime }({\xi }_1)\\ f^{\prime }(x_1)=\frac{1}{h}[f(x_1)-f(x_0)]+\frac{h}{2}{f}^{\prime \prime }({\xi }_2)\end{array}$$

三点公式 $(n=2)$ ：

$$\{\begin{array}{l}{f}^{\prime }(x_0)=\frac{1}{2h}[-3f(x_0)+4f(x_1)-f(x_2)]+\frac{h^2}{3}{f}^{\prime \prime \prime }({\xi }_1)\\ f^{\prime }(x_1)=\frac{1}{2h}[f(x_2)-f(x_0)]-\frac{h^2}{6}{f}^{\prime \prime \prime }({\xi }_2)\text{(中心公式)}\\ f^{\prime }(x_2)=\frac{1}{2h}[f(x_0)-4f(x_1)+3f(x_2)]+\frac{h^2}{3}{f}^{\prime \prime \prime }({\xi }_3)\end{array}$$

用差商代替微商：

1) 向前差商：$f^{\prime }(x)=\frac{f(x+h)-f(x)}{h}-\frac{h}{2}{f}^{\prime \prime }(\xi )$

2) 向后差商：$f^{\prime }(x)=\frac{f(x)-f(x-h)}{h}+\frac{h}{2}{f}^{\prime \prime }(\xi )$

3) 中心差商：$f^{\prime }(x)=\frac{f(x+h)-f(x-h)}{2h}-\frac{h^2}{6}{f}^{\prime \prime \prime }(\xi )$

4) 二阶中心差商：$f^{\prime \prime }(x)=\frac{f(x+h)-2f(x)+f(x-h)}{h^2}-\frac{h^2}{12}{f}^{(4)}(\xi )$

九、常微分方程的数值解法

主要考虑微分方程的初值问题

$$\{\begin{array}{l}\frac{\mathrm{d}y}{\mathrm{d}x}=f(x,y),a⩽x⩽b\\ y(a)=y_0\end{array}$$

1. Euler 方法

$$y(x_{i+1})\approx y(x_i)+hf(x_i,y(x_i))$$

2. Euler 预测-校正法

$$\{\begin{array}{l}{\overline{y}}_{i+1}=y_i+hf(x_i,y_i)\\ y_{i+1}=y_i+\frac{h}{2}[f(x_i,y_i)+f(x_{i+1},{\overline{y}}_{i+1})]\end{array}$$

3. 四阶经典 Runge-Kutta 公式

$$\begin{gathered} y_{i+1}=y_i+\frac{1}{6}(K_1+2K_2+2K_3+K_4) \\ \{\begin{array}{l}{K}_1=hf(x_i,y_i)\\ K_2=hf(x_i+\frac{h}{2},y_i+\frac{K_1}{2})\\ K_3=hf(x_i+\frac{h}{2},y_i+\frac{K_2}{2})\\ K_4=hf(x_i+h,y_i+K_3)\end{array} \end{gathered}$$