其它数学专业课总结

实变函数

开集、闭集

每一点都是内点为开集，每一点是聚点为闭集。

外测度及其性质

E为$R^n$中一点集，对于一列覆盖E的开区间，这列开区间的体积总和的下确界，称为勒贝格外测度。
非负性、单调性，次可数可加性

可测集、性质

E是可测的，若对于任意一点集T，T的外测度等于T与E的交的外测度，加上T与E的补集的外测度。
可测集的并、交、补都是可测的。

可测函数及其性质

f(x)是定义在可测集E上的函数，如果对于任意的有限实数a，集合为满足f大于a的x，该集合可测
可测集上的连续函数都是可测的
可测函数在其可测集的子集上也是可测的
可测函数在其可测集的并上也是可测的

简单函数

f(x)的定义域可以分为有限个互不相交的可测集，f(x)在每个可测集上都等于某个常数

可测函数和简单函数的关系

f在E上可测，则可以找到一列可测的简单函数，使得收敛于f

叶戈罗夫定理

几乎处处收敛的可测函数列，基本上（去掉任意小的某点集）一致收敛

卢津定理

几乎处处可测的函数是基本上连续的函数

依测度收敛

$f_n$是一列可测的函数列，如果事先给定一个误差，无论这个误差有多小，使得$|f_n-f|$大于这个误差的点，随着n的无限增大而趋于0

依测度收敛与收敛的关系

里斯定理：函数列fn依测度收敛于f，则存在子列几乎处处收敛于f
勒贝格定理：

1. E的测度有限
2. fn是E上几乎处处有限的可测函数列
3. fn在E上几乎处处收敛于几乎处处有限的函数f

则fn依测度收敛于f

非负简单函数的勒贝格积分

该简单函数在互不相交的可测集上的常数值，分别乘以这些可测集的测度，再将它们求和

非负可测函数的L积分

小于等于f的简单函数的勒贝格积分，它们组成的集合的上界

一般可测函数的L积分

正部和负部的勒贝格积分有限，则正部和负部的L积分相减为f的L积分

---

常微分方程

常微分方程

微分方程就是联系自变量、未知函数以及未知函数的某些导数的等式。如果其中的未知函数只与一个自变量有关，则称为常微分方程。

变量可分离方程

形如：
$$\frac{dy}{dx}=f(x)g(y)$$或$$M_1(x)N_1(y)dx=M_2(x)N_2(y)dy$$
求解方法：分为0和非0两种情况

齐次方程
两类可化为变量可分离的方程：
第一类：

$\frac{dy}{dx}=f(x,y)$的右端函数f(x, y)可以改写为$g(\frac{y}{x})$，那么称为一阶齐次微分方程。
解法：令$u=\frac{y}{x}$，则有$\frac{dy}{dx}=u+x\frac{du}{dx}$，代入可得$\frac{du}{dx}=\frac{g(u)-u}{x}$，这是一个变量可分离方程。

第二类：

$$\frac{dy}{dx}=f(\frac{a_{1}x+b_{1}y+c_1}{a_{2}x+b_{2}y+c_2})$$

一阶线性微分方程

$$\frac{dy}{dx}+p(x)y=f(x)$$如果$f(x)=0$，则称其为一阶线性齐次方程，如果不为0，称为一阶线性非齐次方程。
解法：先求出一阶线性齐次方程的通解，然后用常数变易法解出一阶线性非齐次特解，齐次通解+非齐次特解=非齐次通解。

伯努利方程

$$\frac{dy}{dx}+p(x)y=f(x)y^n(n\ne 0,1)$$
解法：这是一种非线性得一阶微分方程，但经过适当的变量变换之后，化为一阶线性方程
两端除以$y^n$，得$$y^{-n}\frac{dy}{dx}+p(x)y^{1-n}=f(x)$$再令$x=y^{1-n}$，则可以化成z为未知函数的一阶线性方程。

全微分方程及积分因子

$$M(x,y)dx+N(x,y)dy=0$$的左端恰好是一个二元函数U(x, y)的全微分，即$$dU(x,y)=M(x,y)dx+N(x,y)dy$$则称第一个式子为全微分方程。
解法：$U(x,y)=C$为全微分方程的通积分。

定理：方程中的$M(x,y),N(x,y)$在矩形区域上连续可微，则方程是全微分方程的充要条件是：$$\frac{\partial M}{\partial y}=\frac{\partial N}{\partial x}$$

定义：存在连续可微函数u(x, y)不为0，使方程$$u(x,y)M(x,y)dx+u(x,y)N(x,y)dy=0$$成为全微分方程，我们就把u(x, y)称为积分因子。

全微分的充要条件：$$\frac{\partial \mu M}{\partial y}=\frac{\partial \mu N}{\partial x}$$展开并整理后，$$N\frac{\partial \mu }{\partial x}-M\frac{\partial \mu }{\partial y}=(\frac{\partial M}{\partial y}-\frac{\partial N}{\partial x})\mu$$方程是不易求解的，但对于特殊情况可以求解。

1. $\frac{1}{N}(\frac{\partial M}{\partial y}-\frac{\partial N}{\partial x})$只与x有关
2. $-\frac{1}{M}(\frac{\partial M}{\partial y}-\frac{\partial N}{\partial x})$只与y有关

一阶隐式微分方程

两类可解类型：

1. $F(x,y^{\prime })=0(F(y,y^{\prime })=0)$
2. $y=f(x,y^{\prime })(x=f(y,y^{\prime }))$

类型1的特点是方程中不含y或x，类型2的特点是y或者x可以解出。
求解：参数法

几种可降阶的高阶方程

$F(x,y^{(k)},y^{(k+1)},...,y^{(n)})=0(k\ge 1)$ 特点是方程不显含$y,y^{\prime },...,y^{(k-1)}.$只要令$y^{(k)}=z$，代入即可将原方程降阶。

$F(y,y^{\prime },...,y^{(n)})=0$ 特点是不显含x，用$y^{\prime }=p$使得方程降低一阶，$y^{\prime \prime }=p\frac{dp}{dy}$。

解的存在唯一性定理

定理：如果方程$$\begin{gathered} \frac{dy}{dx}=f(x,y) \\ y(x_0)=y_0 \end{gathered}$$的右端函数$f(x,y)$在闭矩形域$$R:x_0-a\le x\le x_0+a,y_0-b\le y\le y_0+b$$上满足如下条件：

1. 在R上连续
2. 在R上关于变量y满足利普希茨条件，即存在常数N，使得对于R上的任一点$(x,y)和(x,y^{\prime })$有不等式$$|f(x,y)-f(x,y^{\prime })|\le N|y-y^{\prime }|$$

则初值问题在区间$x_0-h_0\le x\le x_0+h_0$上存在唯一解.
其中$h_0=\min (a,\frac{b}{M}),M=\max |f(x,y)|$.

一阶微分方程组
一般形式为：$$\{\begin{array}{l}\frac{d{y}_1}{dx}=f_1(x,y_1,y_2,...,y_n)\\ \frac{d{y}_2}{dx}=f_2(x,y_1,y_2,...,y_n)\\ ......\\ \frac{d{y}_n}{dx}=f_n(x,y_1,y_2,...,y_n)\end{array}$$

一阶线性微分方程组
定义：$$\{\begin{array}{l}\frac{d{y}_1}{dx}=a_{11}(x)y_1+a_{12}(x)y_2+...+a_{1n}(x)y_n+f_1(x)\\ \frac{d{y}_2}{dx}=a_{21}(x)y_1+a_{22}(x)y_2+...+a_{2n}(x)y_n+f_2(x)\\ ......\\ \frac{d{y}_n}{dx}=a_{n1}(x)y_1+a_{n2}(x)y_2+...+a_{nn}(x)y_n+f_n(x)\end{array}$$称为一阶线性微分方程组，如果最右侧的$f_i(x)$为0的话，称为一阶线性齐次方程组。

一阶线性齐次方程组的一般理论

定理：线性齐次方程组的任何有限个解的线性组合还是方程的解。
证明：直接代入即可得到

定义：
$$\begin{gathered} \Phi (x)=[Y_1(x),Y_2(x),...,Y_n(x)] \\ =\left[\begin{array}{cccc}{y}_{11}(x)& y_{12}(x)& ...& y_{1n}(x)\\ y_{21}(x)& y_{22}(x)& ...& y_{2n}(x)\\ ...& & & \\ y_{n1}(x)& y_{n2}(x)& ...& y_{nn}(x)\end{array}\right] \end{gathered}$$如果这组解是线性无关的，则称此矩阵为基本解矩阵。

定义：朗斯基行列式
$$W(x)=\left|\begin{array}{cccc}{y}_{11}(x)& y_{12}(x)& ...& y_{1n}(x)\\ y_{21}(x)& y_{22}(x)& ...& y_{2n}(x)\\ ...& & & \\ y_{n1}(x)& y_{n2}(x)& ...& y_{nn}(x)\end{array}\right|$$

定理：非齐次方程组的解$Y_1(x),Y_2(x),...,Y_n(x)$ 线性相关，则W恒等于零。
注：反过来不成立，即W恒等于零，向量组不一定线性相关。

定理：齐次方程组的n个解线性无关的充要条件是它们的朗斯基行列式在任一点上恒不为0

定理：如果$Y_1(x),Y_2(x),...,Y_n(x)$是齐次方程的基本解组，则其线性组合$$Y(x)=C_1{Y}_1(x)+C_2{Y}_2(x)+...+C_n{Y}_n(x)$$是齐次方程的通解。

一阶线性非齐次方程组

非齐次通解=齐次通解+非齐次特解

非齐次特解求法：常数变易法

常系数线性微分方程组的解法

定义：常系数线性齐次方程组$$\frac{dY}{dx}=AY$$其中A是n*n的实常数矩阵

求解：引入非奇异变换Y=TZ，将方程组化为$\frac{dZ}{dx}=T^{-1}ATZ$，使$T^{-1}AT$成为若尔当标准型，根据A的特征根
分三种情况：

1. A的特征根均是单根
2. 复特征根共轭成对出现，实部和虚部都是解
3. 重根

非齐次的求解方法，运用上一节的结论即可

n阶线性微分方程

一般形式：$$y^{(n)}+p_1(x)y^{(n-1)}+...+p_{n-1}(x)y^{\prime }+p_n(x)y=f(x)$$
可以通过令$y^{\prime }=y_1,y^{\prime \prime }=y_2,...,y^{(n-1)}=y_{n-1}$将其转化成一阶方程组。

n阶常系数线性齐次方程解法

一般解法：将其转化成一阶方程组，通过上一章的线性方程组的理论可以求解。

解法：待定系数法，猜想方程的解有形如 $y=e^{\lambda x}$ 这种结构，剩下的就将其代入方程中求解$\lambda$，得到特征方程，根据根分三种情况：单根、重根、复数根。

n阶常系数线性非齐次方程解法

一般解法：齐次的上面已经知道求解方法，非齐次特解可用常数变易法求解，二者相加即可得到通解。

第一类型非齐次方程特解的待定系数法：$f(x)=P_m{e}^{ax}$
求解：猜想有形如$y=A{e}^{ax}$的特解，分两种情况：a不是特征方程的根，a是k重根

第二类型非齐次方程特解的待定系数法：$f(x)=e^{ax}[P_m^{(1)}(x)cos\beta x+P_m^{(2)}(x)sin\beta x]$
其中$P_m^{(1)}(x)$和$P_m^{(2)}(x)$是x的次数不高于m的多项式，但二者至少有一个次数为m
求解：可根据欧拉公式，将$\cos \beta x$和$\sin \beta x$替换，则f(x)可以改成第一类型两个函数相加，再根据叠加原理就可求出。

叠加原理：$L[y]=f_1(x)+f_2(x)$是非齐次方程最右侧，且$y_1(x)$和$y_2(x)$分别是方程$L[y]=f_1(x)$和$L[y]=f_2(x)$的解，那么$f_1(x)+f_2(x)$是原方程的解。

---

概统

互不相容

两件事情不可能同时发生，即P(AB)=0

相互独立

A发生对B没有影响，但可能同时发生，P(AB)=P(A)P(B)

全概率公式

若$B_1,B_2,...$是一列互不相容的事件，且有$$\begin{gathered} \sum _{i=1}^{+\infty }=\Omega \\ P(B_i)>0,i=1,2,... \end{gathered}$$则对任一事件A，有$$P(A)=\sum _{i=1}^{+\infty }P(B_i)P(A|B_i)$$这个公式通常称为全概率公式。

贝叶斯公式

若$B_1,B_2,...$是一列互不相容的事件，且有$$\begin{gathered} \sum _{i=1}^{+\infty }=\Omega \\ P(B_i)>0,i=1,2,... \end{gathered}$$则对任一事件A，有$$P(B_i|A)=\frac{P(B_i)P(A|B)}{{\sum }_{j=1}^{+\infty }P(B_j)P(A|B_j)},i=1,2,...$$
这个公式常称为贝叶斯公式。
用先验概率和后验概率推出某件事情发生的概率。

离散型随机变量

分布列、联合分布列、边际分布

随机变量函数，例如v是个随机变量，w=mv是关于v的函数，我们就要研究w的分布列

数学期望：概率与对应的随机变量的乘积求和，若不是绝对收敛，那么数学期望不存在，因为求和次序可以改变，所以要求绝对收敛。
定理：若$(\xi ,\eta )$是一个二维离散型随机变量，其联合分布列为$p_{ij}$，又g(x, y)是实变量x，y的单值函数，如果$$\sum _{i=1}^{+\infty }\sum _{j=1}^{+\infty }|g(a_i,b_j)|p_{ij}<+\infty$$则有$$Eg(\xi ,\eta )=\sum _{i=1}^{+\infty }\sum _{j=1}^{+\infty }g(a_i,b_j)p_{ij}$$
性质：

1. EC=C
2. $E(k_1\xi +k_2\eta )=k_{1}E\xi +k_{2}E\eta$
3. 若$\xi ,\eta$相互独立，则$E(\xi \eta )=E\xi \cdot E\eta$

方差：$D\xi =E(\xi -E\xi {)}^2=E{\xi }^2-(E\xi {)}^2$
性质：

1. 若C是常数，则DC=0;
2. 若C是常数，则$D(C\xi )=C^{2}D\xi$;
3. 若$\xi ,\eta$是两个相互独立的随机变量，且$D\xi ,D\eta$存在，则$D(\xi +\eta )=D\xi +D\eta$

条件分布与条件数学期望

连续型随机变量

概率分布函数：$F(x)=P(\xi \le x),x\in (-\infty ,+\infty )$
性质：单调性、有界性、右连续性

概率密度函数：如果对于任意的x有，$F(x)={\int }_{+\infty }^{x}p(y)dy$，F(x)为连续型分布函数，p(x)是F(x)的概率密度函数。
性质：

1. $p(x)\ge 0$
2. ${\int }_{-\infty }^{+\infty }p(x)dx=1$

多维随机变量：联合分布函数、联合概率密度函数、边际分布、边际分布密度、相互独立

随机变量的函数的分布、和的分布、商的分布

期望：x与密度函数的乘积在负无穷到正无穷上的积分。

切比雪夫不等式：若$E\xi =a$，且$D\xi$存在，则对任意的正常数$\epsilon$，有$$P(|\xi -a|\ge )\le \frac{D\xi }{{\epsilon }^2}$$

协方差：$Cov(\xi ,\eta )=E(\xi -E\xi )(\eta -E\eta )$
相关系数：$Cov({\xi }^{\ast },{\eta }^{\ast })=\frac{Cov(\xi ,\eta )}{\sqrt{D\xi \cdot D\eta }}$
注：相关系数只是随机变量间线性关系强弱的一个度量，当两个随机变量独立时，相关系数为0，反之不成立。

条件分布、条件期望

大数定理

伯努利定理：$\mu$是n重伯努利实验中事件A出现的次数，p为每个实验出现的概率，$$\underset{n\to +\infty }{\lim }P(|\frac{{\mu }_n}{n}-p|<\epsilon )=1$$说明：频率是接近概率的

切比雪夫大数定律、马尔可夫大数定律，分别是前面的推广

辛钦大数定律：${\xi }_1,{\xi }_2,...$是一列独立同分布的随机变量，且$E{\xi }_i=a,i=1,2,...$ 则$$\underset{n\to +\infty }{\lim }P(|\frac{1}{n}\sum _{i=1}^n{\xi }_i-a|<\epsilon )=1$$表明随机变量在n次观察中的算术平均值会靠近它的期望值。

中心极限定理

棣莫弗-拉普拉斯极限定理：二项分布收敛于正态分布

林德贝格-勒维定理：若${\xi }_1,{\xi }_2,...$是一列独立同分布的随机变量，且$$E{\xi }_k=a,D{\xi }_k={\sigma }^2({\sigma }^2>0),k=1,2...$$则有$$\underset{n\to +\infty }{\lim }P(\frac{{\sum }_{k=1}^n{\xi }_k-na}{\sigma \sqrt{n}}\le x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}dt$$是上面的推广

统计量

子样均值、子样方差、子样k阶矩、子样k阶中心矩…

点估计

矩法估计：采用子样的经验分布和子样矩去替换母体的分布和母体矩的原则，称之为替换原则。
体现估计好坏的两个标准：

1. 相合估计：估计量与真值很接近的可能性非常大
2. 无偏估计：$E_{\theta }[\stackrel{\wedge }{\theta }({\xi }_1,{\xi }_2,...)]=\theta$，在多次重复取样下不会系统地引起过高或过低的偏差

极大似然估计
似然函数：$L(\theta )=L(\theta ;x_1,x_2,...,x_n)=f(x_1;\theta )f(x_2;\theta )...f(x_n;\theta )$
极大似然估计：$L(\stackrel{\wedge }{\theta };x_1,x_2,...,x_n)=\sup L(\theta ;x_1,x_2,...,x_n)$，满足该式的$\stackrel{\wedge }{\theta }$就是最可能产生$x_1,x_2,...,x_n$的参数$\xi$的值，称其为极大似然估计。

假设检验

一般提法：在给定备择假设$H_1$下对原假设$H_0$作出判断，若拒绝原假设$H_0$，那就意味着接受备择假设$H_1$，否则就不能拒绝原假设$H_0$，也就是接受原假设。简单来说，就是在原假设$H_0$和备择假设$H_1$中作出拒绝哪一个接受哪一个的判断。

犯第一类错误的概率：$P(拒绝H_0|H_0为真)=\alpha$
犯第二类错误的概率：$P(接受H_0|H_1为真)=\beta$
只对犯第一类错误的概率$\alpha$加以限制，而不考虑犯第二类错误的概率，这种统计假设检验问题称为显著性检验问题。

---

数值分析

多项式插值

定理：满足条件$P(x_i)=y_i,i=0,1,...,n$的插值多项式P(x)是存在唯一的。
证明：令$P(x)=a_0+a_{1}x+...+a_n{x}^n$，将上述条件代入，求解n+1元的线性方程组，我们知道多项式系数存在且唯一

拉格朗日插值

定义：若n次多项式$l_j(x)$在n+1个节点上满足$$l_j(x_k)=\{\begin{array}{l}1,k=j\\ 0,k\ne j\end{array}j,k=0,1,..,n$$称这n+1个多项式为n次插值基函数

拉格朗日插值多项式：$$L_n(x)=\sum _{k=0}^n{y}_k{l}_k(x)$$其中$$l_k(x)=\frac{(x-x_0)...(x-x_{k-1})(x-x_{k+1})...(x-x_n)}{(x_k-x_0)...(x_k-x_{k-1})(x_k-x_{k+1})...(x_k-x_n)},k=0,1,...,n$$

拉格朗日插值余项：$$R_n(x)=f(x)-L_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}{w}_{n+1}(x)$$其中$$w_{n+1}=(x-x_0)(x-x_1)...(x-x_n)$$

牛顿插值多项式

定义：k阶均差$$f[x_0,x_1,...,x_k]=\frac{f[x_0,...,x_{k-2},x_k]-f[x_0,x_1,...,x_{k-1}]}{x_k-x_{k-1}}$$性质：

1. 均差与结点的排序无关
2. $f[x_0,x_1,...,x_k]=\frac{f[x_1,x_2...,x_k]-f[x_0,x_1,...,x_{k-1}]}{x_k-x_0}$，由性质1和定义可得
3. $f[x_0,x_1,...,x_n]=\frac{f^{(n)}(\xi )}{n!},\xi \in [a,b]$

可根据均差定义，将x看成[a, b]上一点，可得
$$\begin{gathered} f(x)=f(x_0)+f[x,x_0](x-x_0), \\ f[x,x_0]=f[x_0,x_1]+f[x,x_0,x_1](x-x_1), \\ ... \\ f[x,x_0,...,x_{n-1}]=f[x_0,x_1,...,x_n]+f[x,x_0,x_1,...,x_n](x-x_n) \end{gathered}$$依次把后一式代入前一式，就得到$$\begin{gathered} f(x)=f(x_0)+f[x_0,x_1](x-x_0)+...+f[x_0,x_1,...,x_n](x-x_0)...(x-x_{n-1}) \\ +f[x,x_0,x_1,...,x_n]w_{n+1}(x)=P_n(x)+R_n(x) \end{gathered}$$其中$P_n(x)$就是我们的牛顿插值多项式，$R_n(x)$相比较拉格朗日插值余项更具有一般性。

埃尔米特插值

埃尔米特插值：插值多项式不仅满足函数值相等，还要满足结点的导数值相等
一般的只要给出m+1个插值条件（含函数值和导数值）就可构造出次数不超过m次的埃尔米特插值多项式

泰勒插值：是牛顿插值的极限形式

分段低次插值

由于高次插值多项式精度不好，通常不用告辞插值，而用分段低次插值
分段线性插值：给出每个结点的函数值
分段三次埃尔米特插值：给出每个结点的函数值和导数值（一阶导数连续）

三次样条插值

优点：改进分段低次插值的光滑性差，有二阶连续导数，并且不需要提供很多条件，一般是结点的函数值加上边界条件即可。
在每个小区间上要确定4个待定系数，因为是三次多项式。
满足连续性条件：

1. $S(x_j-0)=S(x_j+0)$
2. $S^{\prime }(x_j-0)=S^{\prime }(x_j+0)$
3. $S^{\prime \prime }(x_j-0)=S^{\prime \prime }(x_j+0)$

通常在区间[a, b]端点再加一个边界条件，常见的有以下三种：

1. 已知两端的一阶导数值
2. 已知两端的二阶导数值
3. 周期样条函数

函数逼近

用简单函数逼近已知的复杂函数，上面的插值就是函数逼近的一种，下面要讨论的是“对函数类A中给定的函数f(x)，要求在另一类函数B中求函数p(x)，使得它们的误差在某种度量意义下最小”。函数A类通常是区间上的连续函数C[a, b]，函数B类通常是n次多项式$H_n$，有理函数或分段低次多项式等。

最佳逼近多项式：$||f(x)-P^{\ast }(x)||=min||f(x)-P(x)||$
其中：

1. 范数取$||\cdot |{|}_{+\infty }$ 为最优一致多项式
2. 范数取$||\cdot |{|}_2$ 为最佳平方多项式
3. 只知道函数的在某点的函数值，要求$$||f-P^{\ast }|{|}_2^2=\min ||f-P|{|}_2^2=\min \sum _{i=1}^m[f(x_i)-P(x_i){]}^2$$称$P^{\ast }(x)$为f(x)的最小二乘拟合

数值积分

定义：如果某个求积公式对于次数不超过m的多项式均能准确成立，但对于m+1次的多项式不能准确成立，则称该求积公式具有m次代数精度。

插值型求积公式：用插值函数的积分近似原函数的积分，具有n次代数精度

辛普森公式：二阶牛顿-柯特斯公式，有三次代数精度

复合求积公式

由于牛顿-柯特斯公式在$n\ge 8$时不具有稳定性，不能通过提高阶的方法提高精度，通常把区间等分，再在每个小区间上用低阶求积公式，这种方法称为复合求积法。

复合梯形公式、复合辛普森公式

解线性方程组的直接解法

高斯消去法：用初等行变换将原线性方程组系数矩阵化为简单形式（上三角形），从而将问题转化为求解简单方程组的问题

定理：矩阵的LU分解，A的顺序主子式不为零，A可分解为一个单位下三角矩阵L和一个上三角矩阵U的乘积，且这种分解是唯一的。

列主元消去法：在消元过程中可能出现$a_{kk}=0$或很小，用其作除数会导致其它元素严重增长，最后会使得计算误差较大。为了避免这种情况，我们每一步选取系数矩阵中绝对值最大的元素作为主元素。

直接三角分解法：实现A的LU分解，将求解Ax=b的问题转化为求解两个三角形方程组：

1. Ly=b，求y
2. Ux=y，求x

解线性方程组的迭代法
对于低阶稠密矩阵时，上面的方法求解方程是有效的，但对于大型稀疏矩阵，利用迭代法求解是适合的。

建立Ax=b的迭代法。
将A分裂为A=M-N，其中M为可选择的非奇异矩阵，且使Mx=d容易求解，一般选择为A的某种近似，称M为分裂矩阵。
于是求解Ax=b转化为求解Mx=Nx+b，即求解$Ax=b\iff 求解x=M^{-1}Nx+M^{-1}b$
也就是求解线性方程组$x=Bx+f$
从而可构造一阶定常迭代式：
$$\begin{gathered} x^{(0)}(初始向量) \\ {x}^{(k+1)}=B{x}^{(k)}+f,k=0,1,... \end{gathered}$$迭代收敛的充要条件是矩阵B的谱半径小于1

将系数矩阵A分成三部分

则$A=D-L-U$

雅可比迭代法：选取M=D（对角矩阵）
高斯-塞德尔迭代法：选取M=D-L（下三角矩阵）
逐次超松弛迭代法（SOR方法）：M选取带参数的下三角矩阵 $M=\frac{1}{\omega }(D-\omega L)$ 其中$\omega >0$为可选择的松弛因子。

SOR方法是高斯-塞德尔迭代法的一种修正，可由下述思想得到：

1. 先用高斯-塞德尔迭代法定义辅助量 $x_i^{(k+1)}$
2. 再由$x_i^{(k)}$与$x_i^{(k+1)}$加权平均定义$X_i^{(k+1)}$，即
   $$X_i^{(k+1)}=(1-\omega )x_i^{(k)}+\omega x_i^{(k+1)}$$

非线性方程与方程组的数值解法

二分法：考察有根区间 [a, b]

不动点迭代法：
将方程改写成等价的形式$x=\phi (x)$，若$f(x^{\ast })=0$，则$x^{\ast }=\phi (x^{\ast })$，反之亦然，我们称$x^{\ast }$为函数$\phi (x)$的一个不动点。
迭代计算：$x_{k+1}=\phi (x_k),k=0,1,...$

牛顿法（切线法）：实质上是一种线性化方法，其基本思想是将非线性方程逐步归结为某种线性方程来求解。先选取一个根附近的初始值$x_0$，计算公式为：
$$x_{k+1}=x_k-\frac{f(x_k)}{f^{\prime }(x_k)},k=0,1,...$$

简化牛顿法：$x_{k+1}=x_k-Cf(x_k),k=0,1,...$，取$C=\frac{1}{f^{\prime }(x_0)}$，不需要每次迭代都计算一次导数。
牛顿下山法：附加要求$|f(x_{k+1})|<|f(x_k)|$，保证函数值稳定下降，防止发散。

利用已知函数值$f(x_k),f(x_{k-1})$来回避导数值$f^{\prime }(x_k)$的计算，这类方法是建立在插值原理的基础上的，下面是两种常用的方法。
弦截法：构造一次插值多项式，导数$f^{\prime }(x_k)$用差商$\frac{f(x_k)-f(x_{k-1})}{x_k-x_{k-1}}$替代
抛物线法：构造二次插值多项式