南京大学计算方法(数值分析)期末复习笔记

计算方法期末复习

NJULYP

Chapter II

Chapter III 函数逼近与快速傅里叶变换

函数逼近的基本概念

1. 范数

   1. ∞-范数
      $$||f|{|}_{\infty }=max|f(x)|$$

   2. 1-范数
      $$||f|{|}_1={\int }_a^b|f(x)|dx$$

2. 2-范数
   $$||f|{|}_1=({\int }_a^b|f^2(x)|dx{)}^{1/2}$$

3. 函数内积
   $$(f,g)={\int }_a^{b}f(x)g(x)w(x)dx$$
   w(x)为权函数。

正交多项式

勒让德多项式

1. $$\begin{gathered} P_0(x)=1 \\ {P}_1(x)=x \\ P2(x)=(3x^2-1)/2 \\ {P}_3(x)=(5x^3-3x)/2 \end{gathered}$$

2. 首项系数
   $$a_n=(2n)!/2^n(n!{)}^2$$

3. 勒让德多项式是正交函数族

4. 奇偶性
   $$P_n(x)=(-1{)}^n{P}_n(x)$$

5. 递推式
   $$(n+1)P_{n+1}(x)=(2n+1)x{P}_n(x)-n{P}_{n-1}(x)$$

切比雪夫多项式

1. 表达式
   $$T_n(x)=cos(narccosx),|x|<=1$$

2. 递推式
   $$T_{n+1}(x)=2x{T}_n(x)-T_{n-1}(x)$$

3. 前几项
   $$\begin{gathered} T_0(x)=1 \\ {T}_1(x)=x \\ {T}_2(X)=2x^2-1 \\ {T}_3(x)=4x^3-3x \end{gathered}$$

4. 偶项切比雪夫式只含偶项，奇项切比雪夫式只含奇项

5. Tn(x)在[-1,1]上有n个零点

6. 利用切比雪夫多项式求最佳一致逼近多项式 ？？？

最佳平方逼近

普通函数族：
$$\begin{gathered} H_{n\ast x},H_{mn}=1/(m+n) \\ {d}_i={\int }_a^b{\varphi }_i(x)f(x)dx \\ Ha=d \\ {S}_n(x)=a_n{\varphi }_n(x)+a_{n-1}{\varphi }_{n-1}(x)+...+a_0 \end{gathered}$$
正交函数族的最佳平方逼近
$$S^{\ast }(x)={\Sigma }_{k=0}^n\frac{(f(x),{\varphi }_k(x))}{||{\varphi }_k(x)|{|}_2^2}{\varphi }_k(x)$$

曲线拟合的最小二乘法

$$\begin{gathered} G_{n\ast n},G_{mn}=({\varphi }_m,{\varphi }_n) \\ (f,{\varphi }_i)=d_i \\ Ga=d \end{gathered}$$

均方误差：
$$||\delta |{|}_2^2={\Sigma }_{i=0}^m[S^{\ast }(x)-y_i{]}^2$$

Chapter IV 数值积分与数值微分

数值积分概论

1. 代数精度：求积公式对次数小于m的多项式都能精确成立，而对m+1阶多项式不能精确成立，则称求积公式具有m阶代数精度。

2. 插值型求积公式

   给定节点 a<=x0<x1<x2<…<xn<b
   $$\begin{gathered} I_n={\Sigma }_{k=0}^n{L}_n(x)dx={\Sigma }_{k=0}^0{A}_{k}f(x_k) \\ {A}_k={\int }_a^b{l}_k(x)dx,k=0,1,...,n \\ {R}_n(x)={\int }_a^b\frac{f^{n+1}(\xi )}{(n+1)!}{\omega }_{n+1}(x)dx \\ {\omega }_{n+1}=(x-x_0)(x-x_1)...(x-x_n) \end{gathered}$$

   形如上式的求积公式至少有n次代数精度的充要条件：它是插值的。

3. 若求积公式中系数A_k>0，则求积公式是稳定的（即收敛于原积分函数）。

牛顿-柯特斯公式

梯形公式

$$\begin{gathered} {\int }_a^{b}f(x)dx\approx \frac{b-a}{2}[f(a)+f(b)] \\ {T}_k=\frac{h}{2}[f(a)+{\Sigma }_{i=0}^{k}f(x_k)] \\ 步长h=\frac{b-a}{k} \\ R[f]=-\frac{(b-a{)}^3}{12}{f}^{{}^{\prime \prime }}(\mu ) \end{gathered}$$

辛普森公式

辛普森公式具有三阶代数精度，辛普森公式即n=2时的牛顿柯特斯公式。
$$\begin{gathered} S=\frac{b-a}{6}[f(a)+4f(\frac{a+b}{2})+f(b)] \\ R[f]=-\frac{b-a}{180}(\frac{b-a}{2}{)}^4{f}^{(4)}(\mu )，\mu \in (a,b) \end{gathered}$$

复合求积公式

由于牛顿-柯特斯在高阶时不具有稳定性，可以将积分区间划分为若干子区间，并在每个子区间上应用低阶求积公式，从而获得稳定的求积公式。

在每个子区间计算余项并相加即可。

复合梯形公式

$$R_n(f)=-\frac{b-a}{12}{h}^2{f}^{{}^{\prime \prime }}(\mu )$$

复合辛普森公式

$$\begin{gathered} R_n(f)=-\frac{h}{180}(\frac{h}{2}{)}^4{\Sigma }_{k=0}^{n-1}{f}^{(4)}(\mu ) \\ =-\frac{b-a}{180}(\frac{h}{2}{)}^4{f}^{(4)}(\mu ) \end{gathered}$$

龙贝格求积公式

逐次将求积区间二分以提高求积公式的精度，称为外推。

理查森外推加速方法

理查森外推加速公式的一般形式
$$T_m(h)=\frac{4^m}{4^m-1}{T}_{m-1}(\frac{h}{2})-\frac{1}{4^m-1}{T}_{m-1}(h)$$
余项写作
$$T_m(h)=I+{\delta }_1{h}^{2(m+1)}+{\delta }_2{h}^{2(m+2)}+...$$

龙贝格求积算法

以T₀^k表示二分k次后求得的梯形值，且以$$T_m^{(k)}$$表示序列{$$T_0^{(k)}$$}的m次加速值，则根据上面的递推公式，得龙贝格求积算法。
$$T_m^{(k)}=\frac{4^m}{4^m-1}{T}_{m-1}^{k+1}-\frac{1}{4^m-1}{T}_{m-1}^k$$

高斯型求积公式

对于形如下式的求积公式
$$\begin{gathered} {\int }_a^{b}f(x)dx\approx {\Sigma }_{i=0}^n{A}_{i}f(x_i) \\ {\int }_{-1}^{1}f(x)dx\approx f(-\frac{\sqrt{3}}{3})+f(\frac{\sqrt{3}}{3}) \end{gathered}$$
若其具有2n+1次代数精度，则称其为高斯型求积公式。其中a<x0<x1<…<b这些节点称为高斯点。

1. 插值型求积公式节点是高斯点的充要条件是以这些节点为零点的多项式
   $${\omega }_{n+1}(x)=(x-x_0)(x-x_1)...(x-x_n)$$
   与任何次数不超过n的多项式带权$$\rho (x)$$正交，对于：
   $${\int }_a^b\rho (x)f(x)dx\approx {\Sigma }_{i=0}^n{A}_{i}f(x)$$

2. 高斯求积公式余项
   $$R_n[f]=\frac{f^{(2n+2)}(\eta )}{(2n+1)!}{\int }_a^b{\omega }_{n+1}^2(x)\rho (x)dx$$

3. 高斯求积公式是收敛（稳定）的。

4. 高斯求积公式的求积系数全为正数。

5. 取高斯求积公式中的权函数为1时，称其为高斯-勒让德求积公式。

6. 取权函数为$$\frac{1}{\sqrt{1-x^2}}$$时，称为高斯-切比雪夫求积公式。

数值微分

插值型的求导公式

1. 两点公式
   $$\begin{gathered} f^{{}^{\prime }}(x_0)=\frac{1}{h}[f(x_1)-f(x_0)]-\frac{h}{2}{f}^{{}^{\prime \prime }}(\xi ) \\ {f}^{{}^{\prime }}(x_1)=\frac{1}{h}[f(x_1)-f(x_0)]+\frac{h}{2}{f}^{{}^{\prime \prime }}(\xi ) \end{gathered}$$

2. 三点公式
   $$\begin{gathered} f^{{}^{\prime }}(x_0)=\frac{1}{2h}[-3f(x_0)+4f(x_1)-f(x_2)]+\frac{h^2}{3}{f}^{{}^{\prime \prime \prime }}({\xi }_0) \\ {f}^{{}^{\prime }}(x_1)=\frac{1}{2h}[-f(x_0)+f(x_2)]-\frac{h^2}{6}{f}^{{}^{\prime \prime \prime }}({\xi }_1) \\ {f}^{{}^{\prime }}(x_2)=\frac{1}{2h}[f(x_0)-4f(x_1)+3f(x_2)]+\frac{h^2}{3}{f}^{{}^{\prime \prime \prime }}({\xi }_2) \end{gathered}$$

Chapter V 常微分方程初值问题数值解法

简单的数值方法

差商代替倒数: 欧拉法

1. 欧拉法
   $$\frac{y(x_{n+1})-y(x_n)}{h}\approx y^{{}^{\prime }}(x_n)=f(x_n,y(x_n))$$

   由初值$$y_0$$迭代计算

   ​
   $$\begin{gathered} y_1=y_0+hf(x_0,y_0) \\ {y}_2=y_1+hf(x_1,y_1) \\ ... \end{gathered}$$
   h为给定的步长。

   欧拉法的局部截断误差为
   $$y(x_{n+1})-y_n=\frac{h^2}{2}{y}^{{}^{\prime \prime }}({\xi }_n)\approx \frac{h^2}{2}{y}^{{}^{\prime \prime }}(x_n)$$

2. 后退欧拉法

   欧拉法是显式方法，而后退欧拉法为隐式方法。
   $$\begin{gathered} \frac{y(x_{n+1})-y(x_n)}{h}\approx y^{{}^{\prime }}(x_n)=f(x_{n+1},y(x_{n+1})) \\ {y}_{n+1}=y_n+hf(x_{n+1},y_{n+1}) \end{gathered}$$

3. 梯形方法

   梯形方法是单步隐式的，可以用迭代法求解。
   $$y_{n+1}=y_n+\frac{h}{2}[f(x_n,y_n)+f(x_{n+1},y_{n+1})]$$

   迭代过程：
   $$\begin{gathered} y_{n+1}^{(0)}=y_n+hf(x_n,y_n) \\ {y}_{n+1}^{(k+1)}=y_n+\frac{h}{2}[f(x_n,y_n)+f(x_{n+1},y_{n+1}^k)] \end{gathered}$$

   可以证明该过程是收敛的。

4. 改进欧拉公式

   改进欧拉公式建立在预测-矫正的思想上。

   预测：$$y_{n+1}^{{}^{\prime }}=y_n+hf(x_n,y_n)$$

   矫正：$$y_{n+1}=y_n+\frac{h}{2}[f(x_n,y_n)+f(x_{n+1},y_{n+1})]$$

阿当姆斯(Adams)公式

线性多步法的局部误差截断主项
$$T_{n+k}=c_{p+1}{h}^{p+1}{y}^{(p+1)}(x_n)+O(h^{p+2})$$
其中右边第一项为局部误差截断主项，$$c_{p+1}$$称为误差常数。

阿当姆斯公式为线性多步法求解。
$$y_{n+k}=y_{n+k-1}+h{\Sigma }_{i=0}^k{\beta }_i{f}_{n+i}$$
$${\beta }_k$$为0时，为显式Adams公式，否则称为隐式Adams公式。

显示Adams

k	p	公式	$$c_{p+1}$$
1	1	$$y_{n+1}=y_n+h{f}_n$$	$$\frac{1}{2}$$
2	2	$$y_{n+2}=y_{n+1}+\frac{h}{2}(3f_{n+1}-f_n)$$	$$\frac{5}{12}$$
3	3	$$y_{n+3}=y_{n+2}+\frac{h}{12}(23f_{n+2}-16f_{n+1}+5f_n)$$	$$\frac{3}{8}$$
4	4	$$y_{n+4}=y_{n+3}+\frac{h}{24}(55f_{n+3}-59f_{n+2}+37f_{n+1}-9f_n)$$	$$\frac{251}{720}$$

隐式Adams

K	P	公式	$$c_{p+1}$$
1	2	$$y_{n+1}=y_n+\frac{h}{2}(f_{n+1}+f_n)$$	$$-\frac{1}{12}$$
2	3	$$y_{n+2}=y_{n+1}+\frac{h}{12}(23f_{n+2}-16f_{n+1}+5f_n)$$	$$-\frac{1}{24}$$
3	4	$$y_{n+3}=y_{n+2}+\frac{h}{12}(9f_{n+3}+19f_{n+2}-5f_{n+1}+f_n)$$	$$-\frac{19}{720}$$
4	5	$$y_{n+4}=y_{n+3}+\frac{h}{24}(251f_{n+4}+646f_{n+3}-264f_{n+2}+106f_{n+1}+19f_n)$$	$$-\frac{3}{160}$$

(只记k<=2即可)

Chapter VI 非线性方程与方程组的数值解法

二分法

略。

不动点迭代法

对于x的方程f(x)，若将其改写为如下形式
$$x=\varphi (x)$$
则称使得该式为0的x取值为原方程的不动点。

不动点的唯一性和收敛性

1. 唯一性

   设$$\varphi (x)$$在[a,b]上满足以下两个条件

   1. 对任意$$x\in [a,b]有a<=\varphi (x)<=b$$

   2. 存在正常数L<1，使得对任意$$x,y\in [a,b]$$有
      $$|\varphi (x)-\varphi (y)|<=L|x-y|$$

   则函数在[a,b]上有唯一的不动点。

2. 收敛性

   满足唯一性条件即可证收敛。

牛顿法

1. 牛顿法
   $$x_{k+1}=x_k-\frac{f(x_k)}{f^{{}^{\prime }}(x_k)}$$

2. 简化牛顿法
   $$x_{k+1}=x_k+Cf(x_k)$$
   上式取$$C=\frac{1}{f^{\prime }(x_0)}$$，称为简化牛顿法。

3. 牛顿下山法

   在牛顿法的过程中，每步迭代后都做如下判断（下降条件）
   $$|f(x_{k+1})|<|f(x_k)|$$
   在下一步迭代前，令
   $$x_{k+1}=\lambda x_{k+1}^{\prime }+(1-\lambda )x_k$$
   初始$$\lambda =1$$，之后每次减半，直到使得下降条件成立。

弦截法

$$x_{k+1}=x_k-\frac{f(x_k)}{f(x_k)-f(x_{k-1})}(x_k-x_{k-1})$$

该式可以看作牛顿法公式用$$\frac{f(x_k)-f(x_{k-1})}{x_k-x_{k-1}}$$差商来取代导数$$f^{\prime }(x_k)$$的结果。

Chapter VII 解线性方程组的直接方法

高斯消去法

将系数矩阵行简化为上三角阵的过程即高斯消去。

列主元高斯消去: 每次使用每列绝对值最大的元素作为除数，以此减小舍入误差的扩散。

由高斯消去法，可得到矩阵分解的LU定理：对于任何非奇异矩阵，都可以对其做如下分解
$$A=LU$$
其中L为下三角阵，U为上三角阵

由列主元的高斯消去法，可得到矩阵分解的又一定理：对于任何非奇异矩阵，都存在排列矩阵P，使得
$$PA=LU$$
其中L为单位下三角矩阵，U为上三角矩阵

矩阵三角分解法

对于分解式子$$A=LU$$，其中L为单位下三角阵，则可以用N步完成其LU分解。

step 1: $a_{1i}=u_{1i}$，得到U的第一行，由$$l_{i1}=a_{i1}/u_{11}$$得到L的第一列。

step 2: 已经求出U的第1行到第r-1行元素与L的第一行到第r-1列元素，有
$$\begin{gathered} u_{ri}=a_{ri}-{\Sigma }_{k=1}^{r-1}{l}_{rk}{u}_{ki} \\ {l}_{ir}=(a_{ir}-{\Sigma }_{k=1}^{r-1}{l}_{ik}{u}_{kr})/u_{rr} \end{gathered}$$
由$$Ly=b，Ux=y$$，求得方程的解向量x。

上式称为矩阵的杜立特尔分解。

追赶法与三对角方程

对于三对角方程A，它可以被LU分解，即
(垃圾CSDN不支持这里的LATEX语法，图片代替)

由上式易得：
$$\begin{gathered} {\alpha }_i=b_i-a_i{\beta }_{i-1} \\ {\beta }_i=c_i/(b_i-a_i{\beta }_{i-1}) \\ 其中{\beta }_1=c_1/b_1 \end{gathered}$$

向量与矩阵的范数

向量范数

1. 欧式范数：即数量积
2. $$\infty$$-范数：$$||x|{|}_{\infty }=ma{x}_{z\le i\le n}|x_i|$$
3. 1-范数：$$||x|{|}_1={\Sigma }_{i=0}^n|x_i|$$
4. 2-范数：$$||x|{|}_2=(\mathbf{x},\mathbf{x}{)}^{\frac{1}{2}}=({\Sigma }_{i=1}^n{x}_i^2{)}^{\frac{1}{2}}$$
5. p-范数(2-范数的一般形式)：$$||x|{|}_p={\Sigma }_{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}$$

矩阵范数

1. 算子范数：给出一种向量范数$$||x|{|}_v$$，矩阵A的算子范数（从属范数）为
   $$||A|{|}_v=\underset{x\ne 0}{\max }\frac{||Ax|{|}_v}{||x|{|}_v}$$

2. 行范数($$\infty$$-范数)：即每行之和的最大值

3. 列范数(1-范数)：即每列之和的最大值

4. 2-范数：$$||A|{|}_2=\sqrt{{\lambda }_{max}(A^{T}A)}$$，即A^TA的最大特征值开根号。

误差分析

“病态”方程组对应的系数矩阵是“病态”的。

条件数

对于非奇异阵，称$$cond(A{)}_v=||A^{-1}|{|}_v||A|{|}_v$$为矩阵A的条件书，v=1,2（谱条件数）或$$\infty$$。

条件数越大，方程组越病态。

Chapter VIII 线性方程组迭代解法

雅克比迭代与高斯迭代

雅克比迭代法

$$\begin{gathered} {\mathbf{x}}^{(0)}=(x_1^{(0)},x_2^{(0)},...,x_n^{(0)}{)}^T \\ {x}^{(k+1)}=(b_i-{\Sigma }_{j=1,j\ne i}^n{a}_{ij}{x}_j^{(k)})/a_{ii} \end{gathered}$$

雅克比迭代法每迭代一次只需要计算一次矩阵和向量的乘法且原始矩阵始终保持不变。

高斯迭代法

$$\begin{gathered} {\mathbf{x}}^{(0)}=(x_1^{(0)},x_2^{(0)},...,x_n^{(0)}{)}^T \\ {x}^{(k+1)}=(b_i-{\Sigma }_{j=1}^{i-1}{a}_{ij}{k}_j^{(k+1)}-{\Sigma }_{j=i+1}^n{a}_{ij}{x}_j^{(k)})/a_{ii} \end{gathered}$$

高斯迭代法用到了本次迭代的最新信息，这使得它的收敛速度更快。

对角占优

若方阵的对角元严格大于其同行的其他所有元素，则称方阵为严格对角占优矩阵。若为大于等于，则称之为弱对角占优矩阵。

迭代法的收敛性

对于一阶线性迭代法：
$$\begin{gathered} {\mathbf{x}}^{(0)} \\ {\mathbf{x}}^{(k+1)}={\mathbf{B}\mathbf{x}}^k+f \end{gathered}$$
其收敛的充分必要条件是B的谱半径$$\rho (B)<1$$，谱半径定义为矩阵特征值集合的上确界。