MIT OpenCourse 18.06 Linear Algebra 4

最新推荐文章于 2024-11-09 19:43:25 发布

u013669124

最新推荐文章于 2024-11-09 19:43:25 发布

阅读量260

点赞数 1

分类专栏： Linear Algebra 笔记文章标签：线性代数

本文链接：https://blog.csdn.net/u013669124/article/details/107623512

版权

Linear Algebra 笔记专栏收录该内容

5 篇文章 0 订阅

订阅专栏

A的LU分解

1 上节课的补充

上节课最后介绍了高斯-约旦消元法求矩阵的逆但是还有一点关于矩阵的逆的知识没讲完这节课开头先补充一下

1.1 矩阵乘积的逆

假设我们现在有两方阵A和B 且他们各自的逆矩阵已知那么AB乘积的逆矩阵是什么呢？

$AB)^{-1}=?$

这个其实很好推理首先可以肯定 AB乘以AB的逆矩阵可得单位矩阵也就是

$(AB)\times (AB)^{-1}=I\\ \quad\\ 或\\ \quad\\ (AB)^{-1}\times(AB)=I$

那么也就是说 AB的逆矩阵就是与AB相乘后（不管左乘还是右乘）都能够得到单位矩阵的一个矩阵所以现在思路就明确了我们只需要去思考 AB乘以什么能得到单位矩阵呢？脑子快的话马上就能想到这个

$A\times B\times B^{-1}\times A^{-1}\qquad=\qquad A\times （B\times B^{-1}）\times A^{-1}\qquad=\qquad A\times I\times A^{-1}\qquad=\qquad A\times A^{-1}\quad=\qquad I$

同理

$\quad\\ B^{-1}\times A^{-1}\times A\times B=I$

这就好比你先脱鞋子再脱袜子这个过程的逆动作是先穿袜子再穿鞋子因此再根据第二节3.2中提到的矩阵乘法的结合律显然

$(A\times B)\times (B^{-1}\times A^{-1})=I\\ \quad\\ (B^{-1}\times A^{-1})\times (A\times B)=I$

所以AB的逆矩阵就求出来了！

$AB)^{-1}=B^{-1}A^{-1}$

1.2 转置的逆

首先这里我们需要知道一个关于转置的公式

$AB)^{T}=B^TA^T$

我想到了一个初步的理解思路感兴趣的话可以看下不感兴趣的话只需要记住这个公式就行 *****************分割线***************** 首先转置不就是一个矩阵的行变成列列变成行呗就像这样

$\begin{bmatrix} 1&2\\ 3&4 \end{bmatrix}^T= \begin{bmatrix} 1&3\\ 2&4 \end{bmatrix}$

然后根据上一节笔记中1.2和1.3的思路（忘了赶紧回去看）假设两矩阵AB相乘得到矩阵C

$A B = C$

那么C中每一列或者每一行都是A或B中对应的一列或者一行乘以另一个矩阵的乘积所以AB的乘积经过转置后

$AB)^T=C^T$

C中的行变成列列变成行我们取C中的一行为例它在转置前是这样的对应着A中的一行乘以B

$A_{}\qquad\times \qquad B_{}\qquad=\qquad C_{}\\ \quad \\ \quad \\ \left[ \begin{array}{ccc} & & \\\hline & &\\ & & \end{array} \right]_{}\times\quad \left[ \begin{array}{ccc} & & \\ & &\\ & & \end{array} \right]_{}=\quad \left[ \begin{array}{ccc} & & \\\hline & &\\ & & \end{array} \right]_{}$

C中的这一行经过转置后对应的那一列就应该跑到这里它对应着A的转置中的一列乘以B （注意此处AB的左右位置对调）

$B^T_{}\qquad\times \qquad A^T_{}\qquad=\qquad C^T_{}\\ \quad \\ \quad \\ \left[ \begin{array}{ccc} & & \\ & &\\ & & \end{array} \right]_{}\times\quad \left[ \begin{array}{c|cc} & & \\ & &\\ & & \end{array} \right]_{}=\quad \left[ \begin{array}{c|cc} & & \\ & &\\ & & \end{array} \right]_{}$

所以这样就不难理解这个公式了

$(AB)^T=B^T\times A^T$

*****************分割线***************** 理解的思路说完了甭管你看没看现在都要开始思考转置的逆是什么呢？我们从这个最基本的公式开始

$A\times A^{-1}=I$

两边同时转置即可得到

$(A\times A^{-1})^T=I^T$

而根据单位矩阵的性质除了主对角线的元素全部为1以外其他元素均为0 所以它转置以后仍然是单位矩阵即

$I^T=I$

而根据公式

$(A\times B)^T=B^T\times A^T$

可得

$(A\times A^{-1})^T = (A^{-1} )^T\times A^T$

所以

$A\times A^{-1}=I\\ \quad\\ \stackrel{}{\downarrow}\\ \quad\\ (A\times A^{-1})^T=I^T\\ \quad\\ \stackrel{}{\downarrow}\\ \quad\\ (A^{-1} )^T\times A^T=I$

所以显然根据最后得到的

$(A^{-1} )^T\times A^T=I$

我们可以看出 A的转置左乘A的逆的转置等于的单位矩阵这也就说明了 A的转置的逆就是A的逆的转置

2 A的LU分解

为了便于理解这一部分我决定先给出具体的操作方法再讲这么干是为了啥

2.1 这是啥？？？

2.1.1 L和U是啥？？？

第二节课笔记的1.2.1已经讲了如何通过消元得到U U叫上三角矩阵英文是Upper Triangular 但是L我们还没遇到过这里我直接说了 L是叫下三角矩阵英文名叫Lower Triangular 我们已经知道 U的主对角线以下的元素都是0 那么类似的我们可以想到 L的主对角线以上的元素都是0

2.1.2 A咋分解成L和U？？？

在第二节课笔记的3.2 我们已经把矩阵消元的过程通过一个消元矩阵E全部表示（如果忘记了一定要打开上节课笔记的这一部分再看一遍）并最终把消元表示成了EA=U的形式那么如果我说我们这次要把消元表示成A=LU的形式我们该怎么做呢？其实很简单脑子快点的可能已经就看出来了 L其实就是E的逆就像这样

$E\times A = U\\ \quad\\ \stackrel{}{\downarrow}\\ \quad\\ E^{-1}\times E\times A = E^{-1}\times U\\ \quad\\ \stackrel{}{\downarrow}\\ \quad\\ A = E^{-1}\times U$

这样只列公式可能有点空洞所以我弄个矩阵实际操作一下比如

$A=\begin{bmatrix} 2&1\\ 8&7 \end{bmatrix}$

这个一下就能看出来它的消元步骤是第二行减去四倍的第一行也就是

$A\stackrel{row2-4\times row1}{\longrightarrow}U\\ \quad\\ \begin{bmatrix} \boxed2&1\\ 8&7 \end{bmatrix}\stackrel{row2-4\times row1}{\longrightarrow} \begin{bmatrix} 2&1\\ 0&\boxed3 \end{bmatrix}$

而能够实现这一步行变换的消元矩阵E是

$E=\begin{bmatrix} 1&0\\ -4&1 \end{bmatrix}$

（如果不知道这个E是咋的出来的记得回去看第二节课笔记的3.2）因此把整个过程写成EA=U的形式就是

$\begin{bmatrix} 1&0\\ -4&1 \end{bmatrix}\times \begin{bmatrix} 2&1\\ 8&7 \end{bmatrix}= \begin{bmatrix} 2&1\\ 0&3 \end{bmatrix}$

这就代表了由A消元变为U的过程但是现在我们要换一种表达形式由EA=U换成A=LU 这只需要在EA=U的等式两端同时左乘E的逆矩阵就可以这里的E的逆矩阵的求法可以参考第二节课笔记的5.1 E代表着第二行减去四倍的第一行那么E的逆矩阵就应代表着第二行加上四倍的第一行也就是

$E=\begin{bmatrix} 1&0\\ -4&1 \end{bmatrix}\\ \quad\\ E^{-1}=\begin{bmatrix} 1&0\\ 4&1 \end{bmatrix}$

所以此例中 A=LU的形式应写成

$\begin{bmatrix} 2&1\\ 8&7 \end{bmatrix}= \begin{bmatrix} 1&0\\ 4&1 \end{bmatrix}\times \begin{bmatrix} 2&1\\ 0&3 \end{bmatrix}$

不过有一点需要补充有时候有些人吧他们不这么写你可以看到这里的L的主元都是1 （不知道主元是啥的自己看第二节课笔记的1.2.1）但是U的主元就不全都是1 有些人写的时候就会把主元提出来这时U的主对角线全部为1 所以上面的等式还有另一种写法 A=LDU 就是这样

$\begin{bmatrix} 2&1\\ 8&7 \end{bmatrix}= \begin{bmatrix} 1&0\\ 4&1 \end{bmatrix}\times \begin{bmatrix} 2&0\\ 0&3 \end{bmatrix}\times \begin{bmatrix} 1&\frac{1}{2}\\ 0&1 \end{bmatrix}$

所以如果见到别人这样写不要害怕它就是A=LU而已只不过换了种写法

2.2 为啥要这么做？？？

相信你现在也很迷惑这是在干啥呢？为啥要整A=LU？ EA=U不就已经能很简洁地表达整个消元过程了么为啥还要弄个A=LU呢？好吧确实EA=U已经挺好使了这能够通过一个矩阵E很简洁地表示消元的全部过程但问题是这个E求起来太麻烦了你不信？确实刚才的例子里的E根本不费劲就求出来了可是吧刚才的例子只是2*2的矩阵人脑可以立马口算出E 我们现在拿个3*3的矩阵试试看你估计就懂了取一矩阵

$A=\begin{bmatrix} 1&3&3\\ 2&-5&3\\ 0&-25&3 \end{bmatrix}$

先通过EA=U的形式表示它的消元过程

$E_{32}\quad \quad \times \quad \quad E_{31} \quad \quad \times \quad \quad E_{21} \quad \quad \times \quad \quad A \quad \quad = \quad \quad U\\ \quad\\ \begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&-5&1 \end{bmatrix}\times \begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&0&1 \end{bmatrix}\times \begin{bmatrix} 1&0&0\\ -2&1&0\\ 0&0&1 \end{bmatrix}\times \begin{bmatrix} 1&3&3\\ 2&-5&3\\ 0&-55&3 \end{bmatrix}= \begin{bmatrix} 1&3&3\\ 0&-11&-3\\ 0&0&18 \end{bmatrix}\\ \quad\\ \stackrel{}{\downarrow}\\ \quad\\ E\qquad \quad \times \qquad \quad A \qquad \quad= \qquad \quad U\\ \quad\\ \begin{bmatrix} 1&0&0\\ -2&1&0\\ 10&-5&1 \end{bmatrix}\times \begin{bmatrix} 1&3&3\\ 2&-5&3\\ 0&-55&3 \end{bmatrix}= \begin{bmatrix} 1&3&3\\ 0&-11&-3\\ 0&0&18 \end{bmatrix}$

可以看到如果想求出那个E 得去计算三个矩阵的乘积我在上面省略了具体的矩阵乘法计算步骤只用一个箭头就轻描淡写地表示但真的其实这算起来贼麻烦那么如果我们用A=LU的形式来表示这个消元的过程呢？大概就像这样

$A=\begin{bmatrix} 1&3&3\\ 2&-5&3\\ 0&-25&3 \end{bmatrix}$

先通过EA=U的形式表示它的消元过程然后再转换成A=LU的形式

$E_{32}\quad \quad \times \quad \quad E_{31} \quad \quad \times \quad \quad E_{21} \quad \quad \times \quad \quad A \quad \quad = \quad \quad U\\ \quad\\ \begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&-5&1 \end{bmatrix}\times \begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&0&1 \end{bmatrix}\times \begin{bmatrix} 1&0&0\\ -2&1&0\\ 0&0&1 \end{bmatrix}\times \begin{bmatrix} 1&3&3\\ 2&-5&3\\ 0&-55&3 \end{bmatrix}= \begin{bmatrix} 1&3&3\\ 0&-11&-3\\ 0&0&18 \end{bmatrix}\\ \quad\\ \stackrel{}{\downarrow}\\ \quad\\ A= E_{21}^{-1}\times E_{31}^{-1}\times E_{32}^{-1}\times U$

这些消元矩阵的逆很好求参照第二节课笔记的5.1 把主对角线外所有元素取相反数即可所以

$E_{21}^{-1}\times E_{31}^{-1}\times E_{32}^{-1}\times U\\ \quad\\ \stackrel{}{\downarrow}\\ \quad\\ \begin{bmatrix} 1&3&3\\ 2&-5&3\\ 0&-55&3 \end{bmatrix}= \begin{bmatrix} 1&0&0\\ 2&1&0\\ 0&0&1 \end{bmatrix}\times \begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&0&1 \end{bmatrix}\times \begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&5&1 \end{bmatrix}\times \begin{bmatrix} 1&3&3\\ 0&-11&-3\\ 0&0&18 \end{bmatrix}\\ \quad\\ \stackrel{}{\downarrow}\\ \quad\\ \begin{bmatrix} 1&3&3\\ 2&-5&3\\ 0&-55&3 \end{bmatrix}= \begin{bmatrix} 1&0&0\\ 2&1&0\\ 0&5&1 \end{bmatrix}\times \begin{bmatrix} 1&3&3\\ 0&-11&-3\\ 0&0&18 \end{bmatrix}\\ \quad\\ \stackrel{}{\downarrow}\\ \quad\\ A=L\times U$

观察这个U可以发现

$\begin{bmatrix} 1&0&0\\ 2&1&0\\ 0&5&1 \end{bmatrix}$

除了主对角线上的元素都是1以外其他位置的元素就对应着消元矩阵里的系数！比如这个矩阵第二行第一列的元素 2 这个就对应着消元矩阵

$E_{21}=\begin{bmatrix} 1&0&0\\ -2&1&0\\ 0&0&1 \end{bmatrix}$

（这个消元矩阵代表着第二行减去两倍的第一行的操作）再比如U的第三行第二列的元素 5 就对应着消元矩阵

$E_{32}=\begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&-5&1 \end{bmatrix}$

（这个消元矩阵代表着第三行减去五倍的第二行的操作） ok！说到这里如果你足够聪明就能发现我们其实可以不经过计算就直接写出这个L 因为L中除了主对角线以外都是消元系数所以我们只需要把每一步消元的系数填到对应的位置就可以得到L！而且更重要的是正是因为L中除了主对角线以外都是消元系数所以我们可以直接从L中看到消元都经过了哪些步骤不像E 首先运算就很麻烦我们需要把每一步操作用到的的消元矩阵相乘才能得到最终的那一个E 这运算量明显太大！而且最后得到了E 你也看不出来啥你看不出来这个消元步骤都是啥你就光有一个费劲求出来的矩阵E 所以！！！扯了这么多！！！这就是我们为啥要用A=LU的形式！！！它比起EA=U的形式更简洁更方便而且我们能从中看出来消元都经过了哪些步骤

3 消元运算次数与方阵大小的关系

刚才我们一直在讲EA=U和A=LU 他们的主要区别是在面对更大的方阵时运算量不同 A=LU要更简单一些那么当你在无聊到一定程度的时候有没有想过不同大小的方阵进行消元的话大概需要进行多少次运算呢？我们先来假设有个100*100大小的方阵吧

$\begin{bmatrix} a_{1,1}&\cdots&a_{1,100}\\ \cdots&\cdots&\cdots\\ a_{100,1}&\cdots&a_{100,100} \end{bmatrix}$

第一步是把第一列上除了第一行以外的99个元素都消成0 一共99行这99行里每一行都要减去第一行对应的元素与消元系数的乘积第一行有100个元素也就是每一行都要进行100次减法所以这一步一共进行了99*100次运算

$\begin{bmatrix} a_{1,1}&\cdots&a_{1,100}\\ \cdots&\cdots&\cdots\\ 0&\cdots&a_{100,100} \end{bmatrix}$

第二步是把第二列上除了第一行和第二行以外的98个元素都消成0 一共98行每一行都要减去第二行对应的元素因为这些行的第一列的元素已经在上一步中变成了0 所以每一行都无需再进行第一个元素的减法每一行除去第一个元素后剩99个元素也就是每一行都要进行99次减法所以这一步一共进行了98*99次运算以此类推第n步需要进行(n-1)*n次运算所以消元完这个100*100的方阵一共需要进行

$99\times 100+98\times99+\cdots+1\times2$

次为了便于计算我们暂且将其近似为这样的形式

$100^2+99^2+\cdots+1^2$

所以n*n的矩阵消元所需要进行的运算次数大概为

$1^2+2^2+\cdots+n^2$

根据微积分的知识这个求和大概是（不用去看微积分这里了解一下就可以）

$1^2+2^2+\cdots+n^2\approx\frac{1}{3}\times n^3$

这就是我们要求的总操作次数（其实不是很精确）当我们进行实际的运算的时候往往还要带上常数矩阵b 形成增广矩阵然后再进行回代（如果忘了回代的话参见第二节课笔记的2.2）所以如果我们带上b形成增广矩阵运算量会增加多少呢？

$\left [ \begin{array}{c:c} \begin{matrix} a_{1,1}&\cdots&a_{1,100}\\ \cdots&\cdots&\cdots\\ a_{100,1}&\cdots&a_{100,100} \end{matrix}& \begin{matrix} b_{1}\\ \cdots\\ b_{100} \end{matrix} \end{array} \right ]$

这里我就不详细讲了大体的思路是首先进行消元操作对b一共进行

$99+98+97+\cdots+1$

次操作放在n阶方阵中也就对应着

$n+(n-1)+\cdots+1=\frac{n}{2}+\frac{n^2}{2}$

为了方便计算我们将其记作

$\frac{n^2}{2}$

这是消元时矩阵b所进行的运算次数然后我们还需要进行回代就像第二节笔记中2.2那里做的一样其实回代本质上就是向上消元所以进行的运算次数和刚才的消元是一样的我就不展开写了也是

$\frac{n^2}{2}$

次所以加上b形成增广矩阵后进行消元和回代总共增加了

$\frac{n^2}{2}+\frac{n^2}{2}=n^2$

次运算

4 置换与转置

如果忘了置换矩阵是啥参考第二节笔记的4 现在假设我们有一个3*3的矩阵那么我们可以列出它所有的置换矩阵 (包括单位矩阵)

$\begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&0&1 \end{bmatrix} \begin{bmatrix} 0&1&0\\ 0&0&1\\ 1&0&0 \end{bmatrix} \begin{bmatrix} 0&0&1\\ 1&0&0\\ 0&1&0 \end{bmatrix}\\ \quad\\ \begin{bmatrix} 0&1&0\\ 1&0&0\\ 0&0&1 \end{bmatrix} \begin{bmatrix} 0&0&1\\ 0&1&0\\ 1&0&0 \end{bmatrix} \begin{bmatrix} 1&0&0\\ 0&0&1\\ 0&1&0 \end{bmatrix}$