MIT线性代数笔记Lecture5-Lecture6

Lecture 5 Permutation矩阵，矩阵转置，向量空间

1.Permutation矩阵回顾，存在行交换情况下的LU分解

• P矩阵及新分解形式介绍：
  由上节末尾可知，如果在高斯消元的过程中遇到主元位置为0的情况，我们需要一个Permutation矩阵$P$来完成行交换的操作(Get a proper pivot)。
  其中$P$为行交换后的单位阵，在矩阵左侧乘以$P$可以视作交换相应的行。
  此时LU分解可以表示为：
  $PA=LU$
  也即$A$经过行交换之后可以转换为主元位置都不为0的情况，进而分解成$LU$的形式。
  对于任意可逆阵$A$均存在这种分解。
• P矩阵的性质：
  $$P^{-1}=P^T,P^{T}P=I$$
  线性代数对于这种性质很感兴趣，在这其中$P$只是这个概念中心的一小部分。

2. 矩阵转置与对称

• 定义与性质
  $$(A^T{)}_{ij}=A_{ji}$$
  若$A^T=A$,称$A$为对称矩阵。
  $A^{T}A$为对称矩阵，因为$(A^{T}A{)}^T=A^{T}A$

3. 向量空间

向量空间指的是许多许多向量构成的空间，当然这些向量并不是随意的，它们必须遵循某些规则，比如在空间内可以进行加法和标量乘运算。

• 一个$R^2$的例子引入向量空间
  $R^2$指的是所有2维实向量构成的集合。例如$\left[\begin{array}{c}3\\ 2\end{array}\right]$,$\left[\begin{array}{c}-1\\ 4\end{array}\right]$，$\left[\begin{array}{c}\pi \\ e\end{array}\right]$等等。形象地来说，$R^2$就是我们画的xy平面。
  规则：

1. 在$R^2$空间内可以进行加法运算，结果仍在$R^2$空间内。也称作对加法运算是封闭的。
   如：$\left[\begin{array}{c}3\\ 2\end{array}\right]+\left[\begin{array}{c}\pi \\ e\end{array}\right]=\left[\begin{array}{c}3+\pi \\ 2+e\end{array}\right]$
2. 在$R^2$空间可以进行标量乘，结果仍在$R^2$空间内。对标量乘法也是封闭的。
   如：$3\left[\begin{array}{c}3\\ 2\end{array}\right]=\left[\begin{array}{c}9\\ 6\end{array}\right]$
   由这条性质可知原点包含在任何向量空间内，0乘以任何向量都为0向量。
3. 向量空间内的向量的线性组合仍在该空间内。

• 子空间
  某个向量空间的子集，本身也满足向量空间的定义。
  举例：
  $xy$平面内第一象限的点不是线性空间，不满足乘法封闭性。
  $xy$平面内一条过原点的直线是$R^2$的子空间。
  $R^2$子空间的全部情况：
  1. $R^2$本身。
  2. 所有过原点的直线。
  3. 只有0向量。

3. 子空间是如何由矩阵产生的

例如：使用$A=\left[\begin{array}{cc}1& 3\\ 2& 3\\ 4& 1\end{array}\right]$构建子空间：
（1） 由列向量生成：
$A$所有列的线性组合构成一个子空间。
该空间称为列空间(Column Space)，记作$C(A)$。

---

Lecture 6 零空间和列空间

1.子空间内容回顾。

• 补充了子空间的两个性质：
  子空间的并不一定为新的子空间（绝大部分情况下不是新的子空间），子空间的交为新的子空间。

2.列空间（column space）的理解

以如下$A$的列空间$C(A)$为例：
$$A=\left[\begin{array}{ccc}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}\right]$$
提出两个问题：

1. $A$中列向量的线性组合是否可以组成整个$R^4$的空间呢？
   这个问题也等价于：方程组$Ax=b$是否一定有解？答案是否定的，因为有四个方程而只有3个未知数。
   所以将方程组与列空间联系起来就是：对于$Ax=b$当$b$位于$A$的列空间时，方程组有解。
2. $A$的每一列是否都对产生列空间产生了贡献？
   No，第三列是由第一列和第二列相加而来，本身就是第一列和第二列的线性组合，对于构成列空间没有贡献，也称其为dependent（线性相关）。
   此时将第一列和第二列称为主列（pivot columns）。

所以，A的列空间为$R^4$中的2维子空间。

3.零空间（null space）的理解

仍使用上一小节中的$A$矩阵：
$$A=\left[\begin{array}{ccc}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}\right]$$

• 零空间的定义：
  $A$的零空间是指：所有$x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$满足$Ax=0$构成的空间。
  对于A矩阵，首先可以找到一个特解：$x=\left[\begin{array}{c}1\\ 1\\ -1\end{array}\right]$，然后可以发现它的任意$c$倍均是$Ax=0$的解。从向量角度看，所有的解构成了3维空间内一条穿过原点的直线。

• 验证满足$Ax=0$的所有$x$构成的空间是一个子空间。
  1. 验证加法封闭性：
  如果$Av=0,Aw=0$（$v$和$w$是两个不同的解），则$A(v+w)=0$。显然成立，$A(v+w)=Av+Aw=0$
  1. 验证乘法封闭性：
  $Av=0\Rightarrow A(cv)=0$。（$A(cv)=cAv=0$;）

• Ax = b的解是否构成向量空间
  No，因为0向量不在空间内，肯定不是向量空间。
  因为向量空间总是包含原点，所以，对于$Ax=b$，如果关注的是$x$，则问题只限于$Ax=0$。

4.总结：构成子空间的方法

构成子空间既可以直截了当的给出一组向量，由它们的线性组合得到，也可以给出一个$Ax=0$的方程组，求解满足所有条件的x构成的空间。这两种方法都是构成子空间的重要方法。