【数值分析】期末90+，这一篇文章就够了！

【学习笔记】之数值分析

---

---

前言

本文为武汉理工大学计算机与人工智能学院大二专业课《数值分析》课程的学习笔记，所用教材为数值分析简明教程第二版（王能超编著），主要涵盖了数值分析的主要知识点与书上重要的例题。

这是笔者的第一篇博客。写这篇博客的起源是笔者在期末复习数值分析这门课时发现网上并没有较为全面的整理，而教材上有些叙述晦涩难懂，有些公式其实只需简单记忆却长篇大论，自学而言十分痛苦（😭😭😭）。而我在复习完这门课后对这门课有了较为深刻的理解，通过期末考试，我又更加了解了数值分析的考试重难点，验证了自己笔记的全面性与有效性，最终也取得了90+的成绩。

真诚希望这篇博客能帮助到正在预习/复习数值分析的你，如果文章有什么错误，欢迎指出😊！

---

引论

基本概念

科学计算：用电子计算机进行科学技术计算，简称细算。

数值分析：研究科学计算中各类数学问题的数值计算方法。

解析解：严格的公式（例如x= $\sqrt{5}$ ）； 数值解： x=2.236。

精确解：计算过程没有误差 ； 近似解：计算结果不准确。

算法

秦九韶算法 ：迭代法求解多项式，大概了解即可，不懂的网上搜就行啦！

二分法 ：$|x^{\ast }-x_k|⩽\frac{1}{2}(b^k-a^k)=\frac{1}{2^{k+1}}(b-a)$。

算法的稳定性：在输入或参数扰动下，输出的响应是否趋于有界或稳定状态。

算法的收敛性：数值计算方法在迭代过程中，得到的结果是否趋于准确解。

误差

观测误差：测量或实验中存在的误差。
模型误差：实际问题建立为数学模型时产生的误差。
截断误差：近似解（计算部分）与精确解之间的误差。
舍入误差：计算过程中取有限位数引入的误差。

（绝对）误差限：$e=x-x^{\ast }$；$|e|=|x-x^{\ast }|⩽\epsilon$
$x$ ：近似值；$\epsilon$ ：绝对误差限、误差限、精度。

有效数字：近似值$x$的误差限是它某一位的半个单位，则精确到这一位。
计算有效数字：
若 $x=\pm 0.a_1{a}_2{a}_3\cdots a_n\times 10^m$ ； $|x-x^{\ast }|⩽\frac{1}{2}\times 10^{m-l}$；$1⩽l⩽n$
则 $x$ 有 $l$ 位有效数字。

相对误差：
$|\frac{e}{x}|=|e_r|=\frac{|x-x^{\ast }|}{x}⩽\epsilon$
$\epsilon$ ：相对误差限

数值计算的注意事项

避免两个近似的数相减：两个值相近的近似数相减，可能会造成有效数字的严重损失，在实际计算时需加工计算公式，以避免这种情况发生。

避免大数吃小数：先算较小的数。

绝对值小的数不做除数。

---

第一章 插值方法

基本概念

近似函数$P(x)$取给定的离散数据，称之为在$f(x)$的插值函数。

代数插值：代数多项式作为插值函数。代数插值存在唯一性。

唯一性的证明：
设所求插值多项式为$p_n(x)=a_0+a_{1}x+a_2{x}^2+\cdots +a_n{x}^n$，代入得范德蒙行列式，故得定理：$p_n(x)$存在且唯一。
$\Rightarrow$即对于同一个插值条件，用插值方法插值出的插值函数一定相同。

模型结构 :基函数$+$系数。

泰勒插值

插值条件：知$f^{(k)}(x_0),(k=0,1,\cdots ,n)$

泰勒插值函数满足$x_0$处导数值与原函数相同。

插值函数：$p_n(x)=f(x_0)+f\acute{(}{x}_0)(x-x_0)+\frac{f^{{}^{\prime \prime }}(x_0)}{2!}(x-x_0{)}^2+\cdots +\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n$

泰勒余项定理：$\epsilon =f(x)-p_n(x)=\frac{f^{(n+1)(\xi )}}{(n+1)!}(x-x_0{)}^{n+1}，\xi \in [a,b]$

（泰勒插值了解即可，不是重点）

拉格朗日插值

插值条件：知$f(x_i)=y_i(i=0,1,\cdots ,n)$
称$x_i$为插值节点。

拉格朗日插值函数满足插值节点处函数值与原函数相同。即$p_n(x_i)=y_i,(i=0，1，\cdots ，n)$

拉格朗日线性插值（一次插值）

知$（x_0,y_0）,（x_1,y_1）$。

作一次式$p_1(x)=y_0+\frac{y_1-y_0}{x_1-x_0}(x-x_0)$

即$p_1(x)=\frac{x-x_1}{x_0-x_1}{y}_0+\frac{x-x_0}{x_1-x_0}{y}_1$

其中$\frac{x-x_1}{x_0-x_1}，\frac{x-x_0}{x_1-x_0}$为插值基函数。插值基函数具有的性质为：取该插值节点时值为1，取其他插值节点时值为0.

拉格朗日抛物插值（二次插值）

知$（x_0,y_0）,（x_1,y_1）,（x_2,y_2）$。求作$p_2(x)$。

可设$p_2(x)=l_0(x)y_0+l_1(x)y_1+l_2(x)y_2$

由基函数性质：$l_0(x)$满足 $l_0(x_0)=1，l_0(x_1)=l_0(x2)=0$
求解易知：$\{\begin{array}{c}{l}_0(x)=\frac{(x-x_1)(x-x_2)}{(x_0-x_1)(x_0-x_2)}\\ l_1(x)=\frac{(x-x_0)(x-x_2)}{(x_1-x_0)(x_1-x_2)}\\ l_2(x)=\frac{(x-x_0)(x-x_1)}{(x_2-x_0)(x_2-x_1)}\end{array}$

$\therefore p_n(x)=\frac{(x-x_1)(x-x_2)}{(x_0-x_1)(x_0-x_2)}{y}_0+\frac{(x-x_0)(x-x_2)}{(x_1-x_0)(x_1-x_2)}{y}_1+\frac{(x-x_0)(x-x_1)}{(x_2-x_0)(x_2-x_1)}{y}_2$

拉格朗日一般情形

知$（x_0,y_0）,（x_1,y_1）,（x_2,y_2）,\cdots ,（x_n,y_n）$。求作$p_2(x)$

构造插值基函数$l_k(x),(k=0,1,\cdots ,n)$是n次多项式.
由之前的插值基函数容易归纳得：
$l_k(x)={\prod }_{j=0,j\ne k}^n\frac{x-x_j}{x_k-k_{}}$

得到拉格朗日插值公式

$\therefore p_n(x)={\sum }_{k=0}^n({\prod }_{j=0,j\ne k}^n\frac{x-x_j}{x_k-x_j})y_k$

-再次归纳拉格朗日基函数性质-
（1）$l_i（x_j）=\{\begin{array}{c}1，j=i\\ 0，j\ne i\end{array}（i，j=0，1，\cdots ，n）$
（2）${\sum }_{i=0}^n{l}_i(x)\equiv 1$

（3）$l_0(x),l_1(x),l_2(x),\cdots ,l_n(x)$线性无关

插值余项

1、拉格朗日余项定理：
$R_n(x)=f(x)-p_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}{\prod }_{k=0}^n(x-x_k)$
$\xi$与$x$有关，由$x_0,x_1,\cdots ,x_n$和$x$界定，$\xi \in [a,b]$

-拉格朗日余项定理的证明-
证：
设$R_n(t)=f(t)-p_n(t)=c\cdot \omega (t),\omega (t)={\prod }_{k=0}^n(t-x_k)$
令$f(t)-p_n(t)-c\cdot \omega (t)=0$
易知：$t=x_0,x_1,\cdots ,x_n$和$t=x$满足
由罗尔定理：$f^{(n+1)}(t)-p_n^{(n+1)}(t)-c(n+1)!=0$存在一个零点$\xi$
$\therefore c=\frac{f^{(n+1)}(\xi )-p_n^{(n+1)}(\xi )}{(n+1)!}=\frac{f^{(n+1)}(\xi )}{(n+1)!}$
证毕！

2、误差的事后估计（了解即可）：

方法：
若给$x_0,x_1,x_2$对$x$进行插值，则用$x_0,x_1$插值出$y_1$，用$x_0,x_2$插值出$y_2$。
可用$y_2-y_1$估计 $y_1$ 的误差。
这种直接用计算结果估计误差的方法叫做事后估计法。

牛顿插值

意义：具有承袭性的显示插值公式。（解决了拉格朗日插值每增加一个插值节点，所有的插值基函数都需要重新算的问题）

承袭性

当插值节点为一个，即$x_0$时，有$p_0(x)=f(x_0)$。

当插值节点为两个，即$x_0,x_1$时，有$p_1(x)=p_0(x)+\frac{f(x_1)-f(x_0)}{x_1-x_0}(x-x_0)$。

当插值节点为三个，即$x_0,x_1,x_2$时，有$p_2(x)=p_1(x)+\frac{\frac{f(x_2)-f(x_0)}{x_2-x_0}-\frac{f(x_1)-f(x_0)}{x_1-x_0}}{x_2-x_1}(x-x_0)(x-x_1)$

每增加一个插值节点，插值函数在之前的基础上增加一项，这种利用之前的计算结果的性质即为承袭性。

差商

即为增加的每一项的前面的系数（插值基函数）

零阶差商$f(x_0)$
一阶差商$f(x_0,x_1)=\frac{f(x_1)-f(x_0)}{x_1-x_0}$
二阶差商$f(x_0,x_1,x_2)=\frac{f(x_1,x_2)-f(x_0,x_1)}{x_2-x_0}$
n阶差商的递推定义：$f(x_0,x_1,\cdots ,x_n)=\frac{f(x_1,\cdots ,x_n)-f(x_0,\cdots ,x_{n-1})}{x_n-x_0}$

故可画出差商表一步一步计算差商：（对照公式多看几个就可以发现计算的方法，对角线上的值即为插值所需的差商）

n阶差商的显示表达式：$f(x_0,x_1,\cdots ,x_n)={\sum }_{k=0}^n\frac{f(x_k)}{{\prod }_{j=0,j\ne k}^n(x_k-x_j)}$。(这个有时间就记一下，没时间把差商表的计算搞熟就行)

-差商的性质-
差商的对称性：差商的值与节点的排列顺序无关
差商和导数的关系（了解即可）：设$f(x)\in C^n[a,b],x_j\in [a,b],j=0,1,\cdots ,n$为相异节点，则$f(x_0,x_1,\cdots ,x_n)=\frac{1}{n!}{f}^{(n)}(\xi ),\xi \in (a,b)$

牛顿插值公式

$P_n(x)=f(x_0)+f(x_0,x_1)(x-x_0)+f(x_0,x_1,x_2)(x-x_0)(x-x_1)+\cdots +f(x_0,x_1,\cdots x_n)(x-x_0)(x-x_1)\cdots (x-x_{n-1})$

余项：$P(x)=f(x_0,x_1,\cdots x_n，x)(x-x_0)(x-x_1)\cdots (x-x_n)$
牛顿公式是拉格朗日公式的一种变形，余项等价。
故有$f(x_0,x_1,\cdots x_n)=\frac{f^{(n)}(\xi )}{(n)!},\xi \in [\text{min}{x}_i,\text{max}{x}_i]$

若固定$x_0$且$x_1,x_2,\cdots x_n$趋近$x_0$，则牛顿插值公式的极限为泰勒插值公式。
拉格朗日插值为泰勒插值的离散形式。

牛顿插值公式例题
教材P56，T17
给定函数$f(x)=x^3-4x$，试建立关于节点$x_i=i+1(i=0,1,2,\cdots ,5)$的差商表，并列出关于节点$x_0,x_1,x_2,x_3$的插值多项式。

埃尔米特插值（切触插值）

意义：不仅满足插值节点处函数值相同，也满足（一阶）导数值相同。

最简单的方法其实是待定系数法，即先将函数设出来，再把题目所给条件代入，求解出系数。

这里提出两点三次Hermit插值公式。 （有能力尽可能记下来。）
插值条件：知$f(x_0),f^{{}^{\prime }}(x_0),f(x_1),f^{{}^{\prime }}(x_1)$，求三次多项式。
令$h=x_1-x_0$
则$P_3(x)=y_0{\phi }_0(\frac{x-x_0}{h})+y_1{\phi }_1(\frac{x-x_0}{h})+h{y}_0^{{}^{\prime }}{\psi }_0(\frac{x-x_0}{h})+h{y}_1^{{}^{\prime }}{\psi }_1(\frac{x-x_0}{h})$
${\phi }_0(x)=(x-1{)}^2(2x+1),{\phi }_1(x)=x^2(-2x+3)$
${\psi }_0(x)=x(x-1{)}^2,{\psi }_1(x)=x^2(x-1)$

分段插值

龙格现象

龙格现象：当n增大时，插值函数$P_n(x)$在两端会发生激烈的震荡。因此，在大范围内使用高次插值，逼近的效果往往不理想。
解决龙格现象：分段低次插值，对每两个数据点之间的小区间进行低次多项式插值。

分段插值的意义是解决龙格现象。

分段线性插值

将所有数据点用折线连起来。

分段三次Hermit插值

在每个小区间进行两点三次 Hermit插值。

三次样条插值

满足插值函数二阶连续可导。

给出$f(x_0),f(x_1),f(x_1),\cdots$
易知若有n段小区间，则有4n个未知量，但仅有 4n-2个方程，故需补充2个边界条件。
第一类边界条件：给定两端一阶导数值。$S^{{}^{\prime }}(x_0^{+})=f_0^{{}^{\prime }},S^{{}^{\prime }}(x_n^{-})=f_n^{{}^{\prime }}$。
第二类边界条件：给定两端二阶导数值。$S^{{}^{\prime \prime }}(x_0^{+})=f_0^{{}^{\prime \prime }},S^{{}^{\prime \prime }}(x_n^{-})=f_n^{{}^{\prime \prime }}$。$f_0^{{}^{\prime \prime }}=f_n^{{}^{\prime \prime }}=0$称为自然边界条件
第三类边界条件：周期边界条件，即$x_n-x_0$是一个周期。

（其实三次样条插值速成的话了解这些就够了，如果真的碰到了题目要算，待定系数法还是yyds。公式法太复杂，速成的话不建议去记。）

曲线拟合

设法构造⼀条曲线（即拟合曲线）反映所给数据点总的趋势，以消除所给数据的局部波动。

直线拟合的最小二乘法

设所给数据点$(x_i,y_i),(i=1,2,\cdots ,N)$的分布大致成一条直线，$N\gg 2$
则$\hat{y}=a+b{x}_i,i=1,2,\cdots ,N$，表示拟合直线
残差：$e_i=y-\widehat{y_i}$,衡量拟合好坏的重要标志

三大准则：
（1）$\underset{i}{\max }|e|=min$
（2）${\sum }_i^{}|e_i|=min$（最佳一致逼近）
（3）${\sum }_i^{}{e}^2=min$（最佳平方逼近，最小二乘）

直线拟合的最小二乘法求解
$\{\begin{array}{c}aN+b\sum x_i=\sum y_i\\ a\sum x_i+b\sum x_i^2=\sum x_i{y}_i\end{array}\Rightarrow \{\begin{array}{c}a=\\ b=\end{array}$

---

第二章 数值积分

机械求积公式的形式

梯形公式：${\int }_a^{b}f(x)dx\approx (b-a)\frac{[f(a)+f(b)]}{2}$ 一次代数精度
中矩形公式：${\int }_a^{b}f(x)dx\approx (b-a)f(\frac{a+b}{2})$ 一次代数精度
辛普生公式：${\int }_a^{b}f(x)dx\approx (b-a)\frac{[f(a)+4f(\frac{a+b}{2})+f(b)]}{6}$ 三次代数精度

机械求积的一般形式：${\int }_a^{b}f(x)dx\approx {\sum }_{k=0}^n{A}_{k}f(x_k)$

$x_k:$ 求积节点；$A_k:$ 求积系数/伴随求积节点$x_k$的权。

优点：仅为具体函数值的计算，避开求原函数。

代数精度

概念：若求积公式对一切次数 ≤ m的多项式准确，但对m+1次多项式不准确，称它具有 m次代数精度。

代数精度例题
教材P80例1
试检验下列求积公式的代数精度。${\int }_0^{1}f(x)dx\approx \frac{2}{3}f(\frac{1}{4})-\frac{1}{3}f(\frac{1}{2})+\frac{2}{3}f(\frac{3}{4})$

求积公式的设计

即确定求积公式的未知系数。
基于代数精度进行设计，并需指明构造出的求积公式实际的精度。
注：充分利用对称性。

求积公式设计例题
教材P82，T1
试设计求积公式${\int }_0^{1}f(x)dx\approx A_{0}f(\frac{1}{4})+A_{1}f(\frac{1}{2})+A_{2}f(\frac{3}{4})$

教材P81，T4
构造下列形式的插值型求积公式，并指明代数精度。${\int }_0^{1}f(x)dx\approx A_{0}f(\frac{1}{4})+A_{1}f(\frac{1}{2})+A_{2}f(\frac{3}{4})$

插值型求积公式系数计算：$A_k={\int }_0^1{l}_k(x)dx$，$l_k(x)$为拉格朗日插值基函数。

等步长机械求积公式

等步长：求积节点间距相等

柯特斯公式：$C=\frac{1}{90}[7f(x_0)+32f(x_1)+12f(x_2)+32f(x_3)+7f(x_4)]$。
复化梯形公式：$T_n=\frac{h}{2}[f(a)+2{\sum }_{i=1}^{n-1}f(x_i)+f(b)]$。
复化辛普生公式：$S_n=\frac{h}{6}[f(a)+4{\sum }_{i=1}^{n-1}f(x_{i+\frac{1}{2}})+2{\sum }_{i=1}^{n-1}f(x_i)+f(b)]$。 （$x_{i+\frac{1}{2}}$为$x_k$与$x_{k+1}$中点）

等步长机械求积公式例题
P95，T9
设已给出$f(x)=1+e^{-x}sin4x$的数据表

$x$	0.00	0.25	0.50	0.75	1.00
$f(x)$	1.00000	1.65534	1.55152	1.06666	0.72159

分别用复化梯形法，复化辛普生法与柯特斯法求积分$I={\int }_0^{1}f(x)dx$的近似值。

龙贝格算法（变步长加速求积）

龙贝格公式（线性组合实现加速）：
$T_{2n}=\frac{1}{2}{T}_n+\frac{h}{2}{\sum }_{k=0}^{n-1}f(x_{k+\frac{1}{2}})$
$S_n=\frac{4}{3}{T}_{2n}-\frac{1}{3}{T}_n$
$C_n=\frac{16}{15}{S}_{2n}-\frac{1}{15}{S}_n$
$R_n=\frac{64}{63}{C}_{2n}-\frac{1}{63}{C}_n$

高斯公式

选取求积节点$x_k(k=1,2,\cdots ,n)$使${\int }_{-1}^{1}f(x)dx\approx {\sum }_{k=1}^n{A}_{k}f(x_k)$有 $2n-1$ 次代数精度，则为高斯型求积公式（是代数精度最高的求积公式）。
$x_k$：高斯点，$A_k$：高斯系数

一点高斯公式：${\int }_{-1}^{1}f(x)dx\approx 2f(0)$
两点高斯公式：${\int }_{-1}^{1}f(x)dx\approx f(-\frac{1}{\sqrt{3}})+f(\frac{1}{\sqrt{3}})$
三点高斯公式：${\int }_{-1}^{1}f(x)dx\approx \frac{5}{9}f(-\sqrt{\frac{3}{5}})+\frac{8}{9}f(0)+\frac{5}{9}f(\sqrt{\frac{3}{5}})$

-如何找到高斯点-（了解即可）
$\omega =(x-x_1)(x-x_2)\cdots (x-x_n)$
${\int }_{-1}^{1}P(x)\omega (x)dx=0$，即 $\omega (x)$与⼀切次数$⩽n-1$的多项式$P(x)$正交。

勒让德多项式

（个人感觉不重要）
$P_n(x)=\frac{n!}{(2n)!}\frac{d^n}{d_x^n}[(x^2-1{)}^n]$
$A_n=\frac{2}{(1-x_n^2)[p_n^{{}^{\prime }}(x_n){]}^2}$

---

第三章 常微分方程的差分方法

基本概念

常微分方程求解：$\{\begin{array}{c}{y}^{{}^{\prime }}=f(x,y)\\ y(x_0)=y_0\end{array}$ ，求$y_n$。
相关定义：
原函数$y(x)$，导函数$f(x,y)$，准确值$y(x_n)$，近似值$y_n$。

单步法 : 计算$y_{n+1}$时只⽤到$y_n$
多步法 : 要用前面两个或两个以上的信息量。

整体截断误差：$y(x_{i+1})-y_{i+1}$
局部截断误差：$y(x_{i+1})-[y(x_i)+hf(x_i,y(x_i))]$

欧拉方法

$\{\begin{array}{c}显式：y_{n+1}=y_n+hf(x_n,y_n)，(单步)\\ 隐式：y_{n+1}=y_n+hf(x_{n+1},y(x_{n+1}))，(单步)\\ 两步欧拉：y_{n+1}=y_{n-1}+2hf(x_n,y_n)，（二阶）\\ 梯形欧拉：y_{n+1}=y_n+\frac{h}{2}[f(x_n,y_n)，f(x_{n+1},y_{n+1})]，（单步）\end{array}$

欧拉方法例题
教材P124，T3
取$h=0.1$用欧拉方法求解初值问题$\{\begin{array}{c}{y}^{{}^{\prime }}=\frac{1}{1+x^2}-2y^2\\ y(0)=0\end{array}$，并与精确解$y=\frac{x}{1+x^2}$比较计算结果。

改进的欧拉：
$\{\begin{array}{c}{\overline{y}}_{n+1}=y_n+hf(x_n,y_n)\\ y_{n+1}=y_n+\frac{h}{2}[f(x_n,y_n)，f(x_{n+1},{\overline{y}}_{n+1})]\end{array}$ 显式
即(计算用)：
$\{\begin{array}{c}{y}_p=y_n+hf(x_n,y_n)\\ y_c=y_n+hf(x_{n+1},y_p)\\ y_{n+1}=\frac{1}{2}(y_p+y_c)\end{array}$

经典四阶R-K

$\{\begin{array}{c}{y}_{n+1}=y_n+\frac{h}{6}(k_1+2k_2+2k_3+k_4)\\ k_1=f(x_n,y_n)\\ k_2=f(x_n+\frac{h}{2},y_n+\frac{h}{2}{k}_1)\\ k_3=f(x_n+\frac{h}{2},y_n+\frac{h}{2}{k}_2)\\ k_4=f(x_n+h,y_n+h{k}_3)\end{array}$

方法的评估

方法的收敛性（截断误差）：均收敛
方法的稳定性（舍入误差）：$\{\begin{array}{c}显式：条件稳定\\ 隐式：绝对稳定\end{array}$

---

第四章 非线性方程求根的迭代法

基本概念

非线性方程求根：求$f(x)=0$的根。
迭代法：使用迭代公式反复校正根的近似值，逐次逼近精确值，直到满足精度要求。
原理：对于$f(x)=0$，一般变形为$x=\phi (x)\to 迭代函数$
则有$x_1=\phi (x_0),x_2=\phi (x_1),\cdots$
即$x_{k+1}=\phi (x_k),k=0,1,2,\cdots \to 迭代公式$
若$x_k$收敛，则$x^{\ast }=\underset{k\to \infty }{\lim }{x}_k$即为$f(x)=0$的根。

迭代函数的收敛性

压缩映像原理

设$\phi (x)$在$[a,b]$上具有连续一阶导数，且
（1）$\forall x\in [a,b],\phi (x)\in [a,b]$
（2）$\exists 0⩽L<1$，对$\forall x\in [a,b]$，有$|{\phi }^{{}^{\prime }}(x)|⩽L<1$，
则收敛。（$L$越小，收敛越快）

-误差估计-
$\{\begin{array}{c}事后：|x^{\ast }-x_k|⩽\frac{1}{1-L}|x_{k+1}-x_k|\\ 事先：|x^{\ast }-x_k|⩽\frac{x^{\ast }}{1-L}|x_1-x_0|\end{array}$

局部收敛定理

设$\phi (x)$在$x=\phi (x)$的根$x^{\ast }$邻近处有连续的一阶导数，且$|{\phi }^{{}^{\prime }}(x^{\ast })|<1$,则$x_{k+1}$在$x^{\ast }$邻近处有局部收敛性。

-局部收敛定理的证明-

平方收敛速度

迭代误差：$e_k=x^{\ast }-x_k$
若$\frac{e_{k+1}}{e_k^p}\to c,(c为\ne 0常数)$，则称迭代过程$p$阶收敛。
$p=2$时为平方收敛，此时${\phi }^{{}^{\prime }}(x^{\ast })=0,{\phi }^{{(}^{\prime \prime })}(x^{\ast })\ne 0$。

-平方收敛速度的证明-
证:$x^{\ast }-x_{k-1}={\phi }^{{}^{\prime }}(\xi )(x^{\ast }-x_k),\xi$界于$x^{\ast }与x_k$之间且小于1。
若${\phi }^{{}^{\prime }}(x^{\ast })=0$
将$\phi (x_k)在x^{\ast }$处泰勒展开有
$\phi (x_k)=\phi (x^{\ast })+\frac{f^{{}^{\prime \prime }(\xi )}}{2}(x_k-x^{\ast }{)}^2$
即$\frac{x_{k-1}-x^{\ast }}{(x_k-x^{\ast }{)}^2}=\frac{f^{{}^{\prime \prime }}(\xi )}{2}$
即$\frac{e_{k+1}}{e_k^2}\to \frac{f^{{}^{\prime \prime }}(\xi )}{2}$
$\therefore 当{\phi }^{{}^{\prime }}(x^{\ast })=0,{\phi }^{{(}^{\prime \prime })}(x^{\ast })\ne 0时平方收敛。$

牛顿迭代法

$\phi (x)=x-\frac{f(x)}{f^{{}^{\prime }}(x)}$

牛顿迭代法的收敛速度至少为平方收敛

牛顿迭代法例题
P137，例5
用牛顿法解方程$x{e}^x-1=0$。

牛顿下山法

为防止迭代发散，新加条件$|f(x_{k+1})|<|f(x_k)|$，

则$x_{k+1}=x_k-\lambda \frac{f(x_k)}{f^{{}^{\prime }}(x_k)}$

其中$0<\lambda ⩽1$称作下山因子，适当选取$\lambda$使新加条件成立
选好$x_0$后，$\lambda$从1开始减半试算，成立则下山成功；若一直不成立，则下山失败，需重选$x_0$。

快速弦截法

$x_{k+1}=x_k-\frac{f(x_k)}{f(x_k)-f(x_{k-1})}(x_k-x_{k-1})$，（两步法）

---

第六章 线性方程组的直接解法

（将第六章提前讲，作为迭代法的引入。）

线性方程组$Ax=b$存在唯一解，求解线性方程组。

直接法：Gauss消去法（需主元全不为0）。（学了线代的应该都会吧，这里就不详细说了😊）

升级版：列主元Gauss消去法。在第K步消元时，在第K列的剩余部分选取主元（选取绝对值最大主元，然后行交换）
多一些比较环节，但算法更稳定，应用最广泛。复杂度：$O(n^3)$

补充版（不常用）：全主元 Gauss 消去法：一开始就完成所有列的主元选择。

第五章 线性方程组的迭代法

直接法的缺点：1.计算量大；2.无法利用系数矩阵的稀疏性。

雅可比迭代公式 (Jacobi)

$x_i^{(k+1)}=\frac{1}{a_{ii}}(b_i-{\sum }_{j=1,j\ne i}^n{a}_{ij}{x}_j^{(k)}),i=1,2,\cdots ,n$

高斯-赛德尔迭代（G-S）

用前面已经计算出的新值立刻代替后面的值。

$x_i^{(k+1)}=\frac{1}{a_{ii}}(b_i-{\sum }_{j=1}^{i-1}{a}_{ij}{x}_j^{(k+1)}-{\sum }_{j=i+1}^n{a}_{ij}{x}_j^{(k)}),i=1,2,\cdots ,n$

求解线性方程组例题
P156，例1
求解线性方程组$\{\begin{array}{c}10x_1-x_2-2x_3=7.2\\ -x_1+10x_2-2x_3=8.3\\ -x_1-x_2+5x_3=4.2\end{array}$

超松弛法（G-S的加速）

将$x^{(k)}$与G-S得$x^{(k+1)}$加权平均
得$x_i^{(k+1)}=(1-\omega )x_i^{(k)}+\frac{\omega }{a_{ii}}(b_i-{\sum }_{j=1}^{i-1}{a}_{ij}{x}_j^{(k+1)}-{\sum }_{j=i+1}^n{a}_{ij}{x}_j^{(k)}),i=1,2,\cdots ,n$
$\omega$：松弛因子，$1<\omega <2$

迭代法的矩阵表示

$Ax=b,令A=D-L-U,A=\left[\begin{array}{cc}D& -U\\ -L& D\end{array}\right]$

给定一个初始向量$x^{(k)}$，可得迭代格式
$x^{(k+1)}=B{x}^{(k)}+f,k=0,1,2,\cdots$

$J:B=D^{-1}(L+U),f=D^{-1}b$
$G-S:B=(D-L{)}^{-1}U,f=(D-L{)}^{-1}b$

定理：对任意初始向量$x^{(0)}$，收敛的充要条件为$\rho (B)<1$
定理：若存在算子范数使$|B|<1$，则迭代格式收敛

迭代法的收敛性

范数：
向量范数：$||x|{|}_2$
矩阵范数：
$\{\begin{array}{c}F范数：|A{|}_F=({\sum }_{i=1}^n{\sum }_{j=1}^n{a}_{ij}^2{)}^{\frac{1}{2}}\\ 1范数：|A{|}_1=\underset{max}{1⩽j⩽n}{\sum }_{i=1}^n|a_{ij}|（列范数）\\ x^2范数：|A{|}_2=\sqrt{p(A^{T}A)}（谱范数）\\ \infty 范数：|A{|}_{\infty }=\underset{max}{1⩽i⩽n}{\sum }_{j=1}^n|a_{ij}|（常范数）\end{array}$

范数的计算例题
$A=\left(\begin{array}{cc}1& -2\\ -3& 4\end{array}\right)$，计算$|A{|}_F,|A{|}_1,|A{|}_2,|A{|}_{\infty }$

向量序列的收敛：$\underset{k\to \infty }{\lim }||x^{(k)}-x^{\ast }|{|}_2=0$。
矩阵序列的收敛：$\underset{k\to \infty }{\lim }|A_k-A|=0$，任一矩阵范数均可。

---

总结

至此，数值分析的内容基本结束了。在整理这篇博客的过程中，我熟悉了Markdown的语法，也重温了数值分析的知识。
感谢您能看到这里，文章中的错误或者您的相关问题，欢迎提出。另有电子版手写笔记，如需要也可以联系我无偿提供。祝学业有成！ ╮(╯▽╰)╭