【笔记】数值分析原理与计算方法

绪论（更新时间2021/3/14—13:25）

误差理论

绝对误差：
准确值为x，近似值为x^*，则 x-x为近似数x的绝对误差或简称误差
绝对误差界：
如果|x-x*|≤η，则称η为近似值x的绝对误差界或简称误差界
相对误差：
称 $\frac{x-x^{\ast }}{x}$为近似值x的相对误差.在实际问题中常取$\frac{x-x^{\ast }}{x^{\ast }}$ 为近似值x*的相对误差.
相对误差界：
如果$|\frac{x-x^{\ast }}{x}|<\delta$,则称δ为近似值x^*的相对误差界.

有效数字

定义

若x的某一近似值x的绝对误差界是某一位的半个单位，则从这一位起直到左边第一个非零数字为止的所有数字都称为x^*的有效数字。
设准确值x的近似值x^*可表示为x^*=±0. $a_1$$a_2$…$a_n$…×10^m,其中m是整数，$a_i$是0到9之间的一个数字且$a_1$≠0 ，如果$|\frac{x-x^{\ast }}{x}|<\frac{1}{2}\times 10^{m-n}$，则称近似值x具有n位有效数字，也可以说它精确到第n位。
有效数字越多，绝对误差界越小

有效数字与相对误差的联系

定理：
若x^*=±0. $a_1$$a_2$…$a_n$…×10^m 具有n位有效数字，则其相对误差满足$|\frac{x-x^{\ast }}{x^{\ast }}|\le \frac{1}{2a_1}\times 10^{-n+1}$，反之，若x^*满足$|\frac{x-x^{\ast }}{x^{\ast }}|\le \frac{1}{2（a_1+1）}\times 10^{-n+1}$，则x^*至少具有n位有效数字
有效数字越多，相对误差界越小

数值计算

应注意的问题

• 防止有效数字损失（要避免两个相近的数相减， 要避免大数“吃掉”小数，要避免除数绝对值远远小于被除数绝对值的除法）；
  如将二次方程的求根公式优化为$$x_1=\frac{-b-sign(b)\sqrt[]{b^2-4ac}}{2a}$$$$x_2=\frac{c}{a{x}_1}$$其中sign(b)是b的符号函数。
• 注意简化运算步骤，减少运算次数
  如秦九韶算法、级数等
• 要使用数值稳定的算法

第一章：非线性方程的数值解法

二分法

过程略
优点

• 计算过程简单
• 收敛性可保证
• 对函数性质要求低（只需连续）

缺点

• 收敛速度慢
• 不能求偶数重根以及复根和虚根
• 只利用了之前函数值的符号而没利用函数值

迭代法（更新时间2021/3/15—16:49）

迭代法是一种逐次逼近的方法，它的基本思想是通过构造一个递推关系式 (迭代格式) ，计算出根的近似值序列,并要求该序列收敛于方程的根
对于方程f(x)=0,总可以将其化成𝑥 = 𝜙(𝑥)，然后选定一个根的初始近似值$x_0$,利用地推关系式$$x_{i+1}=\Phi (x_i),i=0,1,2...$$产生序列{$x_i$},若该序列收敛于$\alpha$ ,则$\alpha$一定也满足𝑥 = 𝜙(𝑥)，因此$\alpha$也是方程f(x)=0的根
为产生迭代序列{$x_i$},仅需一个初始值$x_0$的迭代法称为单点迭代法，一般形式为$x_{i+1}={\Phi }_i(x_i)$，其中${\Phi }_i$称为迭代函数
多点迭代法的一般形式为$$x_{i+1}={\Phi }_i(x_i,x_{i-1},...,x_{i-n+1}),i=0,1,2,...$$其中，$x_i,x_{i-1},...,x_{i-n+1}$为初始近似值
若迭代函数${\Phi }_i$随迭代次数𝑖变化，则称迭代为非定常迭代，若${\Phi }_i$不随迭代次数𝑖变化，则称迭代为定常迭代
定义

• 全局收敛：设$\alpha$为f(x)=0的根，若果对∀$x_0$∈[a,b]，由迭代法产生的序列都收敛于根$\alpha$，则称该迭代法是全局收敛的
• 局部收敛：设方程$x=\Phi (x)$有根$\alpha$，若存在$\alpha$的某个邻域$\Delta :|x-\alpha |\le \delta$,对任意初值$x_0$∈$\Delta$,迭代过程所产生的序列均收敛于根$\alpha$,则称该迭代法是局部收敛的
• 设迭代过程$x_{k+1}=\Phi (x_k)$产生的序列{$x_k$}收敛于方程$x=\Phi (x)$的根$\alpha$,记$e_k=\alpha -x_k$,若$$\underset{k\to +\infty }{\lim }\frac{|e_{k+1}|}{|e_k{|}^p}=C\ne 0$$则称迭代过程是p阶收敛的
  特别的，
  当p=1时，称为线性收敛
  当p>1时，称为超线性收敛
  当p=2时，称为平方收敛
• 称$EI=p^{\frac{1}{\theta }}$为效率指数. 其中p表示迭代的收敛阶,$\theta$表示每步迭代的计算量.EI越大，计算效率越高

不动点迭代法

整体收敛性

定理：

• 设$\varphi (x)$在[a,b]上具有一阶导数，且
  （1）当x∈[a,b]时，$\varphi (x)$∈[a,b];
  （2）∀x∈[a,b]，有$|{\varphi }^{{}^{\prime }}(x)|\le L<1$
  则对任意初值$x_0$∈[a,b]，迭代过程$x_{k+1}=\varphi (x_k)$收敛于x=$\varphi (x)$在[a,b]上的唯一根

• 设$\varphi (x)$满足
  （1）当x∈[a,b]时，$\varphi (x)$∈[a,b];
  （2）∀$x_1,x_2\in [a,b]$，有$$|\varphi (x_1)-\varphi (x_2)|\le L|x_1-x_2|,L<1$$
  则对任意初值$x_0$∈[a,b]，迭代过程$x_{k+1}=\varphi (x_k)$收敛于x=$\varphi (x)$在[a,b]上的唯一根，且有误差估计式$$|\alpha -x_k|\le \frac{L}{1-L}|x_k-x_{k-1}|$$$$|\alpha -x_k|\le \frac{L^k}{1-L}|x_1-x_0|$$

局部收敛性

定理：

• 若$\varphi (x)$在方程$x=\varphi (x)$的根$\alpha$的邻域内有一阶连续导数，且$|{\varphi }^{{}^{\prime }}(\alpha )|<1$，则迭代过程$x_{k+1}=\varphi (x_k)$具有局部收敛性
  该定理由拉格朗日中值定理证明显然—Ninght
• 若$\varphi (x)$在方程$x=\varphi (x)$的根$\alpha$的邻域内有充分阶连续导数，则迭代过程$x_{k+1}=\varphi (x_k)$在$\alpha$邻域是p阶收敛的充要条件是$${\varphi }^{(\alpha )}(\alpha )=0,j=1,2,...,p-1$$$${\varphi }^p(\alpha )\ne 0$$
  充分性由在$\alpha$处的泰勒展开可证明，必要性可反正—Ninght

牛顿迭代法（切线法）（更新时间2021/3/16—15:46）

牛顿迭代公式$$x_{k+1}=x_k-\frac{f(x_k)}{f^{{}^{\prime }}(x_k)}(k=0,,1,2,...)$$

局部收敛性及收敛阶

若$\alpha$是$f(x)=0$的一个单根，则根$\alpha$附近Newton法是局部收敛且是二阶收敛的，即p=2,$EI=2^{\frac{1}{1+{\theta }_1}}$(书上说是二阶收敛，但个人认为这里应该修改为至少是二阶收敛的—Ninght )
若$\alpha$是$f(x)=0$的重根，则Newton法为局部线性收敛，即p=1

全局收敛性

定理：

• 设$f(x)$在有根区间[a,b]上二阶导数存在，且满足
  （1）$f(a)f(b)<0;$（保证根的存在）
  （2）$f^{{}^{\prime }}(x)\ne 0,x\in [a,b]$；（单调，根唯一）
  （3）$f^{{}^{\prime \prime }}(x)$不变号，x∈[a,b];（凹凸性不变）
  （4）初值$x_0\in [a,,b]$且使$f^{{}^{\prime \prime }}(x_0)f(x_0)>0;$（保证x∈[a,b]时，$\varphi (x)=x-\frac{f(x)}{f^{{}^{\prime }}(x)}\in [a,b]$）
  则Newton迭代法收敛于$f(x)=0$在[a,b]内的唯一跟

例

研究求$\sqrt[]{a}$的Newton公式$x_{k+1}=\frac{1}{2}(x_k+\frac{a}{x_k}),x_0>0(k=0,1,2,...)$证明
（1）对一切k=1,2,…$x_k\ge \sqrt[]{a}$，且序列{$x_k$}是单调递减的

证明：
因为$a>0,x_0>0$，故$x_k>0$
$x_{k+1}=\frac{1}{2}(x_k+\frac{a}{x_k})$
$=\frac{1}{2}(\sqrt[]{x_k}-\frac{\sqrt[]{a}}{\sqrt[]{x_k}})+\sqrt[]{a}\ge \sqrt[]{a}$
因此对于一切$k\ge 1$，均有$x_k\ge \sqrt[]{a}$，故
$\frac{x_{k+1}}{x_k}=\frac{1}{2}\frac{x_k+\frac{a}{x_k}}{x_k}=\frac{1}{2}+\frac{a}{2x_k^2}\le \frac{1}{2}+\frac{a}{2a}=1$
故$x_{k+1}\le x_k$，即{$x_k$}单调递减，根据单调有界原理知$x_k$收敛，证毕！

（2）对任意的初值$x_0>0$，此Newton迭代公式收敛到$\sqrt[]{a}$

证明：
由于序列$x_k$单调递减且有下界故其必有极限，即$$\underset{k\to +\infty }{\lim }{x}_k$$存在，对于任意初值$x_0>0$
$$x_{k+1}-\sqrt[]{a}=\frac{1}{2}(x_k+\frac{a}{x_k})-\sqrt[]{a}=\frac{1}{2x_k}(x_k-\sqrt[]{a}{)}^2$$$$x_{k+1}+\sqrt[]{a}=\frac{1}{2}(x_k+\frac{a}{x_k})+\sqrt[]{a}=\frac{1}{2x_k}(x_k+\sqrt[]{a}{)}^2$$
两式相除可得
$$\frac{x_{k+1}-\sqrt[]{a}}{x_{k+1}+\sqrt[]{a}}=(\frac{x_k-\sqrt[]{a}}{x_k+\sqrt[]{a}}{)}^{2^k}$$
反复递推可得
$$\frac{x_k-\sqrt[]{a}}{x_k+\sqrt[]{a}}=(\frac{x_0-\sqrt[]{a}}{x_0+\sqrt[]{a}}{)}^{2^k}$$
不妨令$q=\frac{x_0-\sqrt[]{a}}{x_0+\sqrt[]{a}}$,可解得$x_k=\frac{1+q^{2^k}}{1-q^{2^k}}\sqrt[]{a}$
由于$|q|<1$,因此$$\underset{k\to +\infty }{\lim }{q}^{2^k}=0$$
故
$$\underset{k\to +\infty }{\lim }{x}_k=\sqrt[]{a}$$
即序列$x_k$收敛于$\sqrt[]{a}$,证毕！

简化Newton法

$x_{k+1}=x_k-\frac{f(x_k)}{C},k=0,1,2,...$一般地，取$C=f^{{}^{\prime }}(x_0)$若$|{\psi }^{{}^{\prime }}(x)|=|1-\frac{f^{{}^{\prime }}(x)}{C}|<1$,则该迭代是一阶收敛的
从几何角度来看，简化Newton法就是在做平行线来逼近零点—Ninght

Newton下山法

$x_{k+1}=x_k-\lambda \frac{f(x_k)}{f^{{}^{\prime }}(x_k)}(0<\lambda <1)$，k=0,1,2,…
其中$\lambda$为下山因子，$\lambda$的选取应满足条件：
$f(x_{k+1})<f(x_k),k=0,1,2,...$
保证所得的序列是收敛的，在实际中每次迭代可选用不同的下山因子（单点非定常迭代），当$\lambda \ne 1$时，序列是一阶收敛的。

多点迭代法（割线法）（更新时间2021/3/16—15:46）

在方程$f(x)=0$的根$\alpha$附近选取两初始近似根$x_0,x_1$，则有迭代公式
$$x_{k+1}=x_k-\frac{x_k-x_{k-1}}{f(x_k)-f(x_{k-1})}f(x_k)(k=0,1,...)$$
或改写为
$$x_{k+1}=\frac{f(x_k)}{f(x_k)-f(x_{k-1})}{x}_{k-1}-\frac{f(x_{k-1})}{f(x_{k-1})-f(x_k)}{x}_k$$
来逐次逼近根$\alpha$

局部收敛性和收敛速度

定理：

• 设$f(x),f^{{}^{\prime }}(x)$在包含方程$f(x)=0$的根$\alpha$的某个区间上连续，并假设$f^{{}^{\prime }}(\alpha )\ne 0$。则如果初始值$x_0,x_1$的选取充分接近根$\alpha$，那么由上述迭代公式产生的迭代序列收敛于根$\alpha$，收敛阶为
  $$p=\frac{1+\sqrt[]{5}}{2}$$
  且有
  $$\underset{i\to +\infty }{\lim }\frac{|{ϵ}_{i+1}|}{|{ϵ}_i{|}^p}=|\frac{f^{{}^{\prime \prime }}(\alpha )}{2f^{{}^{\prime }}(\alpha )}{|}^{p-1}$$

与Newton法比较，割线法每次迭代仅计算一次$f(x)$，其效率指数为$$E{I}_1=\frac{1+\sqrt[]{5}}{2}$$
而Newton迭代法的效率为
$$E{I}_2=2^{\frac{1}{1+{\theta }_1}}$$
计算易知
当${\theta }_1<0.44$时，Newton迭代法的计算效率大于割线法
当${\theta }_1>0.44$时，Newton迭代法的计算效率小于割线法

重根上的迭代法（更新时间2021/3/16—21:34）

已知根的重数为r

将Newton法修正为
$$x_{k+1}=x_k-r\frac{f(x_k)}{f^{{}^{\prime }}(x_k)}k=0,1,2,...$$
求r重根的二阶收敛格式

根的重数未知

将Newton法修正为
$$x_{k+1}=x_k-\frac{u(x_k)}{u^{{}^{\prime }}(x_k)}k=0,1,2,...$$
其中$u(x)=\frac{f(x)}{f^{{}^{\prime }}(x)}$
$u(x)=0$的单根就是$f(x)=0$的r重根（显然—Ninght ），证明如下：

证明：
设$\alpha$是$f(x)=0$的r重根，则
$$u(x)=\frac{f(x)}{f^{{}^{\prime }}(x)}=\frac{(x-\alpha {)}^{r}g(x)}{r(x-\alpha {)}^{r-1}g(x)+(x-\alpha {)}^r{g}^{{}^{\prime }}(x)}=\frac{g(x)}{rg(x)+(x-\alpha )g^{{}^{\prime }}(x)}(x-\alpha )$$
故$u(x)=0$的单根就是$f(x)=0$的r重根
证毕！

例题

方程$x^4-4x^2+4=0$的根$\alpha =\sqrt[]{2}$是二重根，用下列方法求根
（1）Newton迭代法

$x_{k+1}=x_k-\frac{x_k^2-2}{4x_k}$

（2）修正的Newton迭代法（已知重数为2）

$$x_{k+1}=x_k-r\frac{f(x_k)}{f^{{}^{\prime }}(x_k)}=x_k-2\times \frac{x_k^2-2}{4x_k}=x_k-\frac{x_k^2-2}{2x_k}$

（3）修正的Newton迭代法（未知重数）

$x_{k+1}=x_k-\frac{u(x_k)}{u^{{}^{\prime }}(x_k)}$
而$u(x)=\frac{f(x)}{f^{{}^{\prime }}(x)}=\frac{x^2-2}{4x}$，故
$x_{k+1}=x_k-\frac{x_k(x_k^2-2)}{x_k^2+2}$

取初值$x_0=1.5$，计算结果如下表

k	$x_k$	方法（1）	方法（2）	方法（3）
1	$x_1$	1.458333333	1.416666667	1.411764706
2	$x_2$	1.436607143	1.414215686	1.414211438
3	$x_3$	1.425497619	1.414213562	1.414213562

在迭代三步时，方法（2）和方法（3）均能达到10位有效数字，而Newton法只能线性收敛，若要达到相同精度，需迭代30次

第二章：线性代数方程组数值解法

向量范数（更新时间2021/3/16—22:00）

定义：

• 若$R^n$（或$C^n$）上任一向量$x$，对应一个非负实数||$x$||，满足如下条件
  （1）非负性：$||x||\ge 0$且$||x||=0\iff x=0$
  （2）齐次性：$||\lambda x||=|\lambda |\cdot ||x||,\forall \lambda \in R(或C)$
  （3）三角不等式：
  $$||x+y||\le ||x||+||y||,\forall x,y\in R^n(或C^n)$$
  则称$||x||$为向量$x$的一种范数

常用的向量范数
设$x=(x_1,x_2,...,x_n{)}^T$

• 1-范数：$$||x|{|}_1=\sum _{i=1}^n|x_i|$$（向量元素绝对值之和）
• 2-范数：$$||x|{|}_2=(\sum _{i=1}^n{x}_i^2{)}^{\frac{1}{2}}$$（向量的模）
• $\infty$-范数：$$||x|{|}_{\infty }=\underset{1\le i\le n}{\max }|x_i|$$(元素中最大的绝对值)
• p-范数：$$||x|{|}_p=(\sum _{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}$$(类比2-范数)
  实际上向量的范数通项公式就是p-范数的公式，1-范数、2-范数、$\infty$-范数都是其特殊形式—Ninght
  定理：
• 设$f(x)=||x||$为$R^n$上任一向量范数，则$f(x)$是$x$的连续函数（范数连续性定理）
• 设$||x|{|}_s,||x|{|}_t$为$R^n$上任意两种向量范数，则存在常数$c_1,c_2>0$，使得$c_1||x|{|}_s\le ||x|{|}_t\le c_2||x|{|}_s，\forall x\in R^n$（范数等价性定理）
• 向量序列{$x^k$}收敛于$x^{\ast }$的充要条件是$||x^k-x^{\ast }||\to 0,k\to \infty$
  其中$||\cdot ||$是任一向量范数

矩阵范数（更新时间2021/3/16—22:59）

定义：

• 若$R^{n\times n}(或C^{n\times n})$上任一矩阵$A=(a_{i}j{)}_{n\times n}$,对应一个非负实数$||A||$,满足以下条件
  （1）非负性：$||A||\ge 0$且$||A||=0\iff A=0$
  （2）齐次性：$||\lambda A||=|\lambda |\cdot ||A||,\forall \lambda \in R(或C)$
  （3）三角不等式：
  $$||A+B||\le ||A||+||B||,\forall A,B\in R^{n\times n}(或C^{n\times n})$$
  （4）$||AB||\le ||A||\cdot ||B||,\forall A,B\in R^{n\times n}(或C^{n\times n})$
  则称$||A||$为矩阵$A$的一种范数

• 对于给定向量范数$||\cdot ||$和矩阵范数$||\cdot ||$，如果对任何向量$x\in R^n(或C^n)$和$A\in R^{n\times n}(或C^{n\times n})$，都有不等式$||Ax||\le ||A||\cdot ||x||$成立，则称所给的矩阵范数与向量范数是相容的

• 设$x\in R^n(或C^n)$和$A\in R^{n\times n}(或C^{n\times n})$,且给定一种向量范数$||\cdot |{|}_v$,称
  $$||A|{|}_v=\underset{x\ne 0}{\max }\frac{||Ax|{|}_v}{||x|{|}_v}或||A|{|}_v=\underset{||x|{|}_v=1}{\max }||Ax|{|}_v$$
  为矩阵$A$的由向量范数$||x|{|}_v$产生的从属范数或算子范数
  注意：
  单位矩阵的任一种从属范数都为1.
  从属范数一定与所给定的向量范数相容.
  矩阵的从属范数$||A|{|}_v$依赖于向量范数$||x|{|}_v$的具体含义

定理：

• 1-范数：$$||A|{|}_1=\underset{1\le j\le n}{\max }\sum _{i=1}^n|a_{ij}|$$(所有列向量中的最大1-范数)
• 2-范数：$$||A|{|}_2=\sqrt[]{\rho (A^{H}A)}，A^H是A的共轭转置,\rho 为谱半径$$
• $\infty$-范数：$$||A|{|}_{\infty }=\underset{1\le i\le n}{\max }\sum _{j=1}^n|a_{ij}|$$

谱半径
$$\rho (A)=\underset{1\le i\le n}{\max }|{\lambda }_i|,{\lambda }_i为矩阵的特征值$$
${\lambda }_i$满足$|\lambda E-A^{H}A|=0$

Gauss消元法（更新时间2021/3/18—09:32）

思想：
$Ax=b\to Bx=d$，其中B是上三角阵
求解$Bx=d$
列选主元
对方程组$Ax=b$仍按照$x_1,x_2,...$的顺序依次消元，在每一步消元前增加按列选主元的过程，如第k步消元前，对于所有的$a_{\mu k}^{k-1}(\mu =k,k+1,...,n)$,取绝对值最大者，设$$|a_{lk}^{k-1}|=\underset{k\le \mu \le n}{\max }|a_{\mu k}^{k-1}|$$将第$l$个方程与第$k$个方程互换，然后进行第$k$步消元
全选主元
对方程组$Ax=b$仍按照$x_1,x_2,...$的顺序依次消元，在每一步消元前增加全选主元的过程，如第k步消元前，对于所有的$a_{ij}^{k-1}(i,j=k,k+1,...,n)$,取绝对值最大者，设$$|a_{ls}^{k-1}|=\underset{k\le i\le n,k\le j\le n}{\max }|a_{ij}^{k-1}|$$将第$l$个方程与第$k$个方程互换，变元$x_s,x_k$互换，然后进行第$k$步消元

注意：选主元的Gauss消元法能压制计算过程中舍入误差的增长，减少舍入误差对计算结果的影响。

三角分解法

Doolittle分解（更新时间2021/3/18—09:56）

如果A的所有顺序主子式均不为零，则A可唯一分解为$A=LU$
其中$L$为单位下三角阵（主对角线全为1）,$U$为上三角阵
则求解$Ax=b\iff$求解 { U x = y L y = b \lbrace_{Ux=y}^{Ly=b} {Ux=yLy=b​
$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& ...& a_{1n}\\ a_{21}& a_{22}& ...& a_{2n}\\ ...& ...& ...& ...\\ a_{n1}& a_{n2}& ...& a_{nn}\end{array}\right]=\left[\begin{array}{cccc}1& 0& ...& 0\\ l_{21}& 1& ...& 0\\ ...& ...& ...& ...\\ l_{n1}& l_{n2}& ...& 1\end{array}\right]\left[\begin{array}{cccc}{u}_{11}& u_{12}& ...& u_{1n}\\ 0& u_{22}& ...& u_{2n}\\ ...& ...& ...& ...\\ 0& 0& ...& u_{nn}\end{array}\right]=LU$$
由矩阵乘法已知
$$u_{kj}=a_{kj}-\sum _{r=1}^{k-1}{l}_{kr}{u}_{rj}\text{\hspace{1em}(j=k,k+1,...,n)}$$
$$l_{ik}=\frac{a_{ik}-{\sum }_{r=1}^{k-1}{l}_{ir}{u}_{rk}}{u_{kk}}\text{\hspace{1em}(i=k+1,k+2,...,n)}$$
其中${\sum }_1^2=0$
求解$Ax=b\iff$求解 { U x = y L y = b \lbrace_{Ux=y}^{Ly=b} {Ux=yLy=b​

1. 求解方程组$Ly=b$：$$y_k=b_k-\sum _{r=1}^{k-1}{l}_{kr}{y}_r\text{\hspace{1em}(k=1,2,...,n)}$$其中${\sum }_1^2=0$
2. 求解方程组$Ux=y$:$$x_k=\frac{y_k-{\sum }_{r=k+1}^n{u}_{kr}{x}_r}{u_{kk}}$$其中${\sum }_{n+1}^n=0$

在代码实现中，Doolittle分解法的存储可利用原系数矩阵的存储单元
$$\left[\begin{array}{cccc}{u}_{11}& u_{12}& ...& u_{1n}\\ l_{21}& u_{22}& ...& u_{2n}\\ ...& ...& ...& ...\\ l_{n1}& l_{n2}& ...& u_{nn}\end{array}\right]\to A$$

Crout分解

$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& ...& a_{1n}\\ a_{21}& a_{22}& ...& a_{2n}\\ ...& ...& ...& ...\\ a_{n1}& a_{n2}& ...& a_{nn}\end{array}\right]=\left[\begin{array}{cccc}{l}_{11}& 0& ...& 0\\ l_{21}& l_{22}& ...& 0\\ ...& ...& ...& ...\\ l_{n1}& l_{n2}& ...& l_{nn}\end{array}\right]\left[\begin{array}{cccc}1& u_{12}& ...& u_{1n}\\ 0& 1& ...& u_{2n}\\ ...& ...& ...& ...\\ 0& 0& ...& 1\end{array}\right]=LU$$
U为单位上三角阵，L是下三角阵，分解唯一
求解方式类似Doolittle分解法

Cholesky分解（平方根法）

$A=LU=(LD)(D^{-1}U)=LD{U}_1$
$L$是单位下三角阵，$U_1$是单位上三角阵

• 若A对称正定，则 $A=L{L}^T$其中$L$是下三角阵

改进的Cholesky分解（改进的平方根法）

$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& ...& a_{1n}\\ a_{21}& a_{22}& ...& a_{2n}\\ ...& ...& ...& ...\\ a_{n1}& a_{n2}& ...& a_{nn}\end{array}\right]=\left[\begin{array}{cccc}1& 0& ...& 0\\ l_{21}& 1& ...& 0\\ ...& ...& ...& ...\\ l_{n1}& l_{n2}& ...& 1\end{array}\right]\left[\begin{array}{cccc}{d}_1& 0& ...& 0\\ 0& d_2& ...& 0\\ ...& ...& ...& ...\\ 0& 0& ...& d_n\end{array}\right]\left[\begin{array}{cccc}1& l_{21}& ...& l_{n1}\\ 0& 1& ...& l_{n2}\\ ...& ...& ...& ...\\ 0& 0& ...& 1\end{array}\right]$$

矩阵的条件数与误差分析

$cond(A)=||A||\cdot ||A^{-1}||$为矩阵$A$的条件数
$cond(A)=||A||\cdot ||A^{-1}||\ge ||A{A}^{-1}||=1$

线性方程组的迭代方法（Jacobi方法，Gauss-Seidel方法，SOR方法）