线性代数-MIT 18.06-3

本文在学习《麻省理工公开课 线性代数 MIT 18.06 Linear Algebra》总结反思形成

视频链接：MIT-B站视频

笔记部分：总结参考子实

11.矩阵空间、秩1矩阵和小世界图

矩阵空间

记$3\times 3$矩阵空间记为$M$。

则$M$的一组基为：
$$\begin{gathered} \left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 1\\ 0& 0& 0\\ 0& 0& 0\end{array}\right] \\ \left[\begin{array}{ccc}0& 0& 0\\ 1& 0& 0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 1\\ 0& 0& 0\end{array}\right] \\ \left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 1& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right] \end{gathered}$$

易得，$dimM=9$。

• 三阶对称矩阵空间有$dimS=6$
• 上三角矩阵空间有$dimU=6$
• 对角矩阵空间有$dimD=3$

重要结论

• 求并（intersect）：$S\cup U=D,dim(S\cup U)=9$；

• 求交（sum）：$S\cap U=M,dim(S\cap U)=3$；

可以看出：$dimS+dimU=dim(S\cup U)+dim(S\cap U)$。

微分方程

$\frac{d^{2}y}{d{x}^2}+y=0$，即$y^{\prime \prime }+y=0$

方程的解有：$y=\cos x,y=\sin x,y=e^{ix},y=e^{-ix}$等等（$e^{ix}=\cos x+i\sin x,e^{-ix}=\cos x-i\sin x$）

而该方程的所有解：$y=c_1\cos x+c_2\sin x$。

所以，该方程的零空间的一组基为$\cos x,\sin x$，零空间的维数为$2$。同理$e^{ix},e^{-ix}$可以作为另一组基。

秩1矩阵

定义

$2\times 3$矩阵$A=\left[\begin{array}{ccc}1& 4& 5\\ 2& 8& 10\end{array}\right]=\left[\begin{array}{c}1\\ 2\end{array}\right]\left[\begin{array}{ccc}1& 4& 5\end{array}\right]$。

且$dimC(A)=1=dimC(A^T)$，所有的秩一矩阵都可以划为$A=U{V}^T$的形式，这里的$U,V$均为列向量。

性质

• 秩一矩阵类似“积木”，可以搭建任何矩阵，如对于一个$5\times 17$秩为$4$的矩阵，只需要$4$个秩一矩阵就可以组合出来。

• 令$M$代表所有$5\times 17$，$M$中所有秩$4$矩阵组成的集合并不是一个子空间

• 通常两个秩四矩阵相加，其结果并不是秩四矩阵。

案例

在${\mathbb{R}}^4$空间中有向量$v=\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\\ v_4\end{array}\right]$，取${\mathbb{R}}^4$中满足$v_1+v_2+v_3+v_4=0$的所有向量组成一个向量空间$S$，则$S$是一个向量子空间。

易看出，不论是使用系数乘以该向量，或是用两个满足条件的向量相加，其结果仍然落在分量和为零的向量空间中。

求$S$的维数？

解：从另一个角度看，$v_1+v_2+v_3+v_4=0$等价于$\left[\begin{array}{cccc}1& 1& 1& 1\end{array}\right]\left[\begin{array}{c}{v}_1\\ v_2\\ v_3\\ v_4\end{array}\right]=0$，则$S$就是$A=\left[\begin{array}{cccc}1& 1& 1& 1\end{array}\right]$的零空间。

$rank(A)=1$，则对其零空间有$rank(N(A))=n-r=3=dimN(A)$，则$S$的维数是$3$。

四个子空间（复习）

顺便复习$1\times 4$矩阵$A$的四个基本子空间：

行空间：$dimC(A^T)=1$，其中的一组基是$\left[\begin{array}{c}1\\ 1\\ 1\\ 1\end{array}\right]$；

零空间：$dimN(A)=3$，其中的一组基是$\left[\begin{array}{c}-1\\ 1\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}-1\\ 0\\ 1\\ 0\end{array}\right]\left[\begin{array}{c}-1\\ 0\\ 0\\ 1\end{array}\right]$

列空间：$dimC(A)=1$，其中一组基是$\left[\begin{array}{c}1\end{array}\right]$，可以看出列空间就是整个${\mathbb{R}}^1$空间。

左零空间：$dimN(A^T)=0$，因为$A$转置后没有非零的$v$可以使$Av=0$成立，就是$\left[\begin{array}{c}0\end{array}\right]$。

综上，$dimC(A^T)+dimN(A)=4=n,dimC(A)+dimN(A^T)=1=m$

图

1. 图（graph）由节点（node）与边（edge）组成。

2. 六度分隔理论（略）——所以世界很小（小世界图的名字来源）

12.图和网络

知识小结

1. 无电源情况下：

• 将电势记为$e$，则在引入电势的第一步中，有$e=Ax$；
• 电势差导致电流产生，$y=Ce$；
• 电流满足基尔霍夫定律方程，$A^{T}y=0$；

2. 有电源情况下：

电源可以通过：在边上加电池（电压源），或在节点上加外部电流 两种方式接入。

• 如果在边上加电池，会体现在$e=Ax$中；
• 如果在节点上加电流，会体现在$A^{T}y=f$中，$f$向量就是外部电流。

3. 平衡方程（统一考虑）：

• 将以上三个等式连起来得到$A^{T}CAx=f$。
• 方程仅描述平衡状态，方程并不考虑时间。

4. 没有回路的图也叫作树（Tree）

图和网络(电势阐述)

1. 建立$5\times 4$矩阵描述该图（就是引入电势）
   $$A=\left[\begin{array}{cccc}-1& 1& 0& 0\\ 0& -1& 1& 0\\ -1& 0& 1& 0\\ -1& 0& 0& 1\\ 0& 0& -1& 1\end{array}\right]$$

观察前三行，易看出这三个行向量线性相关，也就是这三个向量可以形成回路（loop）。$线性相关<=>回路$;

2. 现在研究$Ax=0$（就是研究等电势）：
   $$Ax=\left[\begin{array}{cccc}-1& 1& 0& 0\\ 0& -1& 1& 0\\ -1& 0& 1& 0\\ -1& 0& 0& 1\\ 0& 0& -1& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ x_4\end{array}\right]$$

   展开得到：
   $$\left[\begin{array}{c}{x}_2-x_1\\ x_3-x_2\\ x_3-x_1\\ x_4-x_1\\ x_4-x_3\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ 0\end{array}\right]$$

• 引入矩阵的实际意义：将$x=\left[\begin{array}{cccc}{x}_1& x_2& x_3& x_4\end{array}\right]$设为各节点电势（Potential at the Nodes）。
• 则式子中的诸如$x_2-x_1$的元素，可以看做该边上的电势差（Potential Differences）。
• 其零空间的物理意义为，当电位相等时，不存在电势差，图中无电流。

应用数学

现在研究$A^{T}y=0$（应用数学里常用公式）：

$$A^{T}y=0=\left[\begin{array}{ccccc}-1& 0& -1& -1& 0\\ 1& -1& 0& 0& 0\\ 0& 1& 1& 0& -1\\ 0& 0& 0& 1& 1\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ y_3\\ y_4\\ y_5\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\\ 0\end{array}\right]$$

对于转置矩阵有$dimN(A^T)=m-r=5-3=2$。

$A^{T}y=0$的一种应用含义叫做“基尔霍夫电流定律”（Kirchoff’s Law, 简称KCL）。

矩阵$C$将电势差与电流联系起来，电流与电势差的关系服从欧姆定律：边上的电流值是电势差的倍数，这个倍数就是边的电导（conductance）即电阻（resistance）的倒数。
$$电势差\underset{欧姆定律}{\overset{矩阵C}{\to }}各边上的电流y_1,y_2,y_3,y_4,y_5$$
将$A^{T}y=0$中的方程列出来：
$$\{\begin{array}{rl}{y}_1+y_3+y_4& =0\\ y_1-y_2& =0\\ y_2+y_3-y_5& =0\\ y_4-y_5& =0\end{array}$$

看$A^{T}y=0$的第一个方程，$-y_1-y_3-y_4=0$，可以看出这个方程是关于节点$1$上的电流的，方程指出节点$1$上的电流和为零

基尔霍夫定律是一个平衡方程、守恒定律，它说明了流入等于流出，电荷不会在节点上累积。

矩阵的线性相关证明图的欧拉公式

• $A^T$的对应列向量线性无关，也就是节点数减1（$rank=nodes-1$）条边线性无关。

• 再看左零空间的维数公式：$dimN(A^T)=m-r$，左零空间的维数就是相互无关的回路的数量。

• 所以$loops=edges-(nodes-1)$，

• 整理得著名的欧拉公式（任何图都有此拓扑性质）：

$$nodes-edges+loops=1$$

$$零维（节点）-一维（边）+二维（回路）=1$$

13.复习

复习为习题课，题目比较简单（略）

1. 如果$B^2=0$，并不能得出$B=0$，反例：$\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right]$，这个矩阵经常会被用作反例。

2. 问：已知
   $$B=\left[\begin{array}{ccc}1& 1& 0\\ 0& 1& 0\\ 1& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& -1& 2\\ 0& 1& 1& -1\\ 0& 0& 0& 0\end{array}\right]$$，在不解出$B$的情况下，求$B$的零空间。

   解：可以观察得出前一个矩阵是可逆矩阵，设$B=CD$，则求零空间$Bx=0,CDx=0$，而$C$是可逆矩阵，则等式两侧同时乘以$C^{-1}$有$C^{-1}CDx=Dx=0$，所以当$C$为可逆矩阵时，有$N(CD)=N(D)$，即左乘逆矩阵不会改变零空间。

   本题转化为求$D$的零空间，$N(B)$的基为
   $\left[\begin{array}{c}-F\\ I\end{array}\right]$，也就是$\left[\begin{array}{c}1\\ -1\\ 1\\ 0\end{array}\right]\left[\begin{array}{c}-2\\ 1\\ 0\\ 1\end{array}\right]$

3. 如果$A,B$的四个基本子空间相同，则$A,B$互为倍数关系。

   不成立，**反例：**如任意两个$n$阶可逆矩阵，他们的列空间、行空间均为${\mathbb{R}}^n$，他们的零空间、左零空间都只有零向量，所以他们的四个基本子空间相同，但是并不一定具有倍数关系。

4. 衔接题：

为什么向量$v=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$不能同时出现在矩阵的行空间与零空间中？令$A\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]$，很明显矩阵$A$中不能出现值为$\left[\begin{array}{ccc}1& 2& 3\end{array}\right]$的行向量，否则无法形成等式右侧的零向量。这里引入正交（perpendicular）的概念

• 矩阵的行空间与零空间正交，它们仅共享零向量。

14.正交向量与子空间

毕达哥拉斯定理和正交

对于向量$x,y$，当$x^T\cdot y=0$即$x_1{y}_1+x_2{y}_x+\cdots +x_n{y}_n=0$时，有向量$x,y$正交（vector orthogonal）。

毕达哥拉斯定理（Pythagorean theorem）中提到，直角三角形的三条边满足：

$$\begin{array}{rl}{\Vert \overrightarrow{x}\Vert }^2+{\Vert \overrightarrow{y}\Vert }^2& ={\Vert \overrightarrow{x+y}\Vert }^2\\ x^{T}x+y^{T}y& =(x+y{)}^T(x+y)\\ x^{T}x+y^{T}y& =x^{T}x+y^{T}y+x^{T}y+y^{T}x\\ 0& =x^{T}y+y^{T}x对于向量点乘，x^{T}y=y^{T}x\\ 0& =2x^{T}y\\ x^{T}y& =0\end{array}$$

由此得出，两正交向量的点积为$0$。另外，$x,y$可以为$0$向量，由于$0$向量与任意向量的点积均为零，所以$0$向量与任意向量正交。

若两个子空间正交，则它们一定不会相交于某个非零向量。

子空间与正交

其行空间（$dimC(A^T)=r$）与零空间（$dimN(A)=n-r$）同属于${\mathbb{R}}^n$空间，正交？

其列空间（$dimC(A)=r$）与左零空间（$dimN(A^T)$=m-r）同属于${\mathbb{R}}^m$空间，正交？

行空间与零空间将${\mathbb{R}}^n$分割为两个正交的子空间，证明略

同样的，列空间与左零空间将${\mathbb{R}}^m$分割为两个正交的子空间。

补充一点，我们把行空间与零空间称为$n$维空间里的正交补（orthogonal complement），即零空间包含了所有与行空间正交的向量；

同理列空间与左零空间为$m$维空间里的正交补，即左零空间包含了所有与零空间正交的向量。

坏方程->好方程

接下来看长方矩阵，$m>n$。对于这种矩阵，$Ax=b$中经常混入一些包含“坏数据”的方程

于是，我们引入一个重要的矩阵：$A^{T}A$。这是一个$n\times m$矩阵点乘$m\times n$矩阵，其结果是一个$n\times n$矩阵，应该注意的是，这也是一个对称矩阵，证明如下：

$$(A^{T}A{)}^T=A^T(A^T{)}^T=A^{T}A$$

这一章节的核心就是$A^{T}Ax=A^{T}b$，这个变换可以将“坏方程组”变为“好方程组”。

举例，有$\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 5\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]$，只有当$\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]$在矩阵的列空间时，方程才有解。

现在来看$\left[\begin{array}{ccc}1& 1& 1\\ 1& 2& 5\end{array}\right]\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 5\end{array}\right]=\left[\begin{array}{cc}3& 8\\ 8& 30\end{array}\right]$，可以看出此例中$A^{T}A$是可逆的。然而并非所有$A^{T}A$都是可逆的，如$\left[\begin{array}{ccc}1& 1& 1\\ 3& 3& 3\end{array}\right]\left[\begin{array}{cc}1& 3\\ 1& 3\\ 1& 3\end{array}\right]=\left[\begin{array}{cc}3& 9\\ 9& 27\end{array}\right]$（注意到这是两个秩一矩阵相乘，其结果秩不会大于一）

给出好方程的结论

$$\begin{gathered} N(A^{T}A)=N(A) \\ rank(A^{T}A)=rank(A) \\ {A}^{T}A可逆当且仅当N(A)为零向量，即A的列线性无关 \end{gathered}$$

15.子空间投影

正交和投影（${\mathbb{R}}^2$空间引入）

有向量$a,b$，做$b$在$a$上的投影$p$，如图，$e=b-p,e\perp p$。$p$在$a$上，有$\underline{p=ax}$。

所以有$a^{T}e=a^T(b-p)=a^T(b-ax)=0$。关于正交的最重要的方程：

$$\begin{gathered} a^T(b-xa)=0 \\ \underline{x{a}^{T}a=a^{T}b} \\ \underline{x=\frac{a^{T}b}{a^{T}a}} \\ p=a\frac{a^{T}b}{a^{T}a} \end{gathered}$$

设投影矩阵为$P$，则可以说投影矩阵作用与某个向量后，得到其投影向量
$$\begin{gathered} projectio{n}_p=Pb \\ \underline{P=\frac{a{a}^T}{a^{T}a}} \end{gathered}$$
若$a$是$n$维列向量，则$P$是一个$n\times n$矩阵。

观察投影矩阵$P$的列空间，$C(P)$是一条通过$a$的直线，而$rank(P)=1$（一列乘以一行：$a{a}^T$，而这一列向量$a$是该矩阵的基）。

投影矩阵的性质：

1. $\underline{P=P^T}$，投影矩阵是一个对称矩阵。

2. 如果对一个向量做两次投影，即$PPb$，则其结果仍然与$Pb$相同，也就是$\underline{P^2=P}$。

投影的应用（${\mathbb{R}}^3$空间推广）

为什么我们需要投影？

因为有些时候$Ax=b$无解，我们只能求出最接近的那个解。

$Ax$总是在$A$的列空间中，而$b$却不一定，这是问题所在，所以我们可以将$b$变为$A$的列空间中最接近的那个向量，

即将无解的$Ax=b$变为求有解的$A\hat{x}=p$（$p$是$b$在$A$的列空间中的投影，$\hat{x}$不再是那个不存在的$x$，而是最接近的解）。

现在来看${\mathbb{R}}^3$中的情形

将向量$b$投影在平面$A$上。同样的，$p$是向量$b$在平面$A$上的投影，$e$是垂直于平面$A$的向量，即$b$在平面$A$法方向的分量。
设平面$A$的一组基为$a_1,a_2$，则投影向量$p=\widehat{x_1}{a}_1+\widehat{x_2}{a}_2$，我们更倾向于写作$p=A\hat{x}$，这里如果我们求出$\hat{x}$，则该解就是无解方程组最近似的解。

现在问题的关键在于找$e=b-A\hat{x}$，使它垂直于平面，因此我们得到两个方程

$$\{\begin{array}{l}{a}_1^T(b-A\hat{x})=0\\ a_2^T(b-A\hat{x})=0\end{array}$$
将方程组写成矩阵形式

$$\left[\begin{array}{c}{a}_1^T\\ a_2^T\end{array}\right](b-A\hat{x})=\left[\begin{array}{c}0\\ 0\end{array}\right]$$
即$A^T(b-A\hat{x})=0$。

比较该方程与${\mathbb{R}}^2$中的投影方程，发现只是向量$a$变为矩阵$A$而已，本质上就是$A^{T}e=0$。所以，$e$在$A^T$的零空间中（$e\in N(A^T)$），从前面几讲我们知道，左零空间$\perp$列空间，则有$e\perp C(A)$，与我们设想的一致。

再化简方程得$A^{T}Ax=A^{T}b$，比较在${\mathbb{R}}^2$中的情形，$a^{T}a$是一个数字而$A^{T}A$是一个$n$阶方阵，而解出的$x$可以看做两个数字的比值。现在在${\mathbb{R}}^3$中，我们需要再次考虑：什么是$\hat{x}$？投影是什么？投影矩阵又是什么？

1. 第一个问题：$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$；

2. 第二个问题：$p=A\hat{x}=\underline{A(A^{T}A{)}^{-1}{A}^T}b$，回忆在${\mathbb{R}}^2$中的情形，下划线部分就是原来的$\frac{a{a}^T}{a^{T}a}$；

3. 第三个问题：易看出投影矩阵就是下划线部分$P=A(A^{T}A{)}^{-1}{A}^T$。

注意点：

• $P=A(A^{T}A{)}^{-1}{A}^T$是不能继续化简为$P=A{A}^{-1}(A^T{)}^{-1}{A}^T=I$的，因为这里的$A$并不是一个可逆方阵。
• 换一种思路说，如果$A$是一个$n$阶可逆方阵，则$A$的列空间是整个${\mathbb{R}}^n$空间，于是$b$在${\mathbb{R}}^n$上的投影矩阵确实变为了$I$，因为$b$已经在空间中了，其投影不再改变。

投影矩阵$P$的性质：

1. $P=P^T$：有
   $${\left[A(A^{T}A{)}^{-1}{A}^T\right]}^T=A{\left[(A^{T}A{)}^{-1}\right]}^T{A}^T$$而$(A^{T}A)$是对称的，所以其逆也是对称的，所以有$$A((A^{T}A{)}^{-1}{)}^T{A}^T=A(A^{T}A{)}^{-1}{A}^T$$，得证。

2. $P^2=P$：有
   $$\begin{gathered} \left[A(A^{T}A{)}^{-1}{A}^T\right]\left[A(A^{T}A{)}^{-1}{A}^T\right] \\ =A(A^{T}A{)}^{-1}\left[(A^{T}A)(A^{T}A{)}^{-1}\right]A^T \\ =A(A^{T}A{)}^{-1}{A}^T \end{gathered}$$，得证。

最小二乘法（拟合直线举例）

投影的经典应用案例：最小二乘法拟合直线（least squares fitting by a line）。

比如：需要找到距离图中三个点 $(1,1),(2,2),(3,2)$ 偏差最小的直线：$b=C+Dt$。

根据条件可以得到方程组
$$\{\begin{array}{ll}C+D& =1\\ C+2D& =2\\ C+3D& =2\end{array}$$
写作矩阵形式
$$\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 3\end{array}\right]\left[\begin{array}{c}C\\ D\end{array}\right]=\left[\begin{array}{c}1\\ 2\\ 2\end{array}\right]$$
也就是我们的$Ax=b$，很明显方程组无解。但是$A^{T}A\hat{x}=A^{T}b$有解。

于是我们将原式两边同时乘以$A^T$后得到的新方程组是有解的，$A^{T}A\hat{x}=A^{T}b$也是最小二乘法的核心方程。