线性代数-MIT 18.06-2

本文在学习《麻省理工公开课 线性代数 MIT 18.06 Linear Algebra》总结反思形成

视频链接：MIT-B站视频

笔记部分：总结参考子实

6.列空间和零空间

对向量子空间$S$和$T$

• $S\cap T$是向量子空间。
• $S\cup T$不是向量子空间

构造子空间的两种方法

1. 列空间

对$m\times n$矩阵$A$，$n\times 1$矩阵$x$，$m\times 1$矩阵$b$，运算$Ax=b$：

$$\left[\begin{array}{ccccc}{a}_{11}& a_{12}& \cdots & a_{1(n-1)}& a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2(n-1)}& a_{2n}\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ a_{m1}& a_{m2}& \cdots & a_{m(n-1)}& a_{mn}\end{array}\right]\cdot \left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_{n-1}\\ x_n\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_m\end{array}\right]$$

由$A$的列向量生成的子空间为$A$的列空间；

$Ax=b$有非零解当且仅当$b$属于$A$的列空间

2. 零空间

A的零空间是$Ax=0$中$x$的解组成的集合。

7.求解Ax=0、主变量、特解

核心算法

求解$Ax=0$
$$A=\underrightarrow{消元}U=\underrightarrow{主元回代消元}R$$

举例：$3\times 4$矩阵
$$A=\left[\begin{array}{cccc}1& 2& 2& 2\\ 2& 4& 6& 8\\ 3& 6& 8& 10\end{array}\right]$$
求$Ax=0$的特解：

1. 找出主变量（pivot variable）：

$$A=\left[\begin{array}{cccc}1& 2& 2& 2\\ 2& 4& 6& 8\\ 3& 6& 8& 10\end{array}\right]\underrightarrow{消元}\left[\begin{array}{cccc}\underline{1}& 2& 2& 2\\ 0& 0& \underline{2}& 4\\ 0& 0& 0& 0\end{array}\right]=U$$

主变量（pivot variable，下划线元素）的个数为2，即矩阵$A$的秩（rank）为2，即$r=2$。

主变量所在的列为主列（pivot column），其余列为自由列（free column）。

自由列中的变量为自由变量（free variable），自由变量的个数为$n-r=4-2=2$。

2. 通常，给自由列变量赋值，去求主列变量的值。

如令$x_2=1,x_4=0$求得特解
$x=c_1\left[\begin{array}{c}-2\\ 1\\ 0\\ 0\end{array}\right]$；
再令$x_2=0,x_4=1$求得特解
$x=c_2\left[\begin{array}{c}2\\ 0\\ -2\\ 1\end{array}\right]$。

3. 进一步简化，即将$U$矩阵化简为$R$矩阵（Reduced row echelon form），即简化行阶梯形式(matlab使用指令rref)。

在简化行阶梯形式中，主元上下的元素都是$0$：
$$U=\left[\begin{array}{cccc}\underline{1}& 2& 2& 2\\ 0& 0& \underline{2}& 4\\ 0& 0& 0& 0\end{array}\right]\underrightarrow{化简}\left[\begin{array}{cccc}\underline{1}& 2& 0& -2\\ 0& 0& \underline{1}& 2\\ 0& 0& 0& 0\end{array}\right]=R$$

将$R$矩阵中的主变量放在一起，自由变量放在一起（列交换），得到

$$R=\left[\begin{array}{cccc}\underline{1}& 2& 0& -2\\ 0& 0& \underline{1}& 2\\ 0& 0& 0& 0\end{array}\right]\underrightarrow{列交换}\left[\begin{array}{cccc}1& 0& 2& -2\\ 0& 1& 0& 2\\ 0& 0& 0& 0\end{array}\right]=\left[\begin{array}{cc}I& F\\ 0& 0\end{array}\right]\text{，其中}I\text{为单位矩阵，}F\text{为自由变量组成的矩阵}$$

特解的矩阵表达

计算零空间矩阵$N$（nullspace matrix），其列为特解，有$RN=0$。
$$\begin{gathered} x_{pivot}=-F{x}_{free} \\ \left[\begin{array}{cc}I& F\end{array}\right]\left[\begin{array}{c}{x}_{pivot}\\ x_{free}\end{array}\right]=0 \\ N=\left[\begin{array}{c}-F\\ I\end{array}\right] \end{gathered}$$

8.求解Ax=b可解性和解的结构

可解性

方程$Ax=b$有解（solvability condition on b）

• 描述1：当且仅当$b$属于$A$的列空间时。
• 描述2：如果$A$的各行线性组合得到$0$行，则$b$端分量做同样的线性组合，结果也为$0$时，方程才有解。

求解$Ax=b$

因为求解过程已经掌握，这里略，$Ax=b$的解集为其特解加上零空间，

$$\{\begin{array}{l}A{x}_p=b\\ A{x}_n=0\end{array}\underrightarrow{两式相加}A\left(x_p+x_n\right)=b$$

对本例有：

$$x_{complete}=\left[\begin{array}{c}-2\\ 0\\ \frac{3}{2}\\ 0\end{array}\right]+c_1\left[\begin{array}{c}-2\\ 1\\ 0\\ 0\end{array}\right]+c_2\left[\begin{array}{c}2\\ 0\\ -2\\ 1\end{array}\right]$$

解的结构小结

总结：

$$\begin{array}{cccc}r=m=n& r=n<m& r=m<n& r<m,r<n\\ R=I& R=\left[\begin{array}{c}I\\ 0\end{array}\right]& R=\left[\begin{array}{cc}I& F\end{array}\right]& R=\left[\begin{array}{cc}I& F\\ 0& 0\end{array}\right]\\ 1solution& 0or1solution& \infty solution& 0or\infty solution\end{array}$$

9.线性相关性、基、维数

线性相关

$v_1,v_2,\cdots ,v_n$是$m\times n$矩阵$A$的列向量：

如果$A$零空间中有且仅有$0$向量，则各向量线性无关，$rank(A)=n$。

如果存在非零向量$c$使得$Ac=0$，则存在线性相关向量，$rank(A)<n$。

基

向量空间$S$中的一组基（basis），具有两个性质：

1. 他们线性无关；
2. 他们可以生成$S$。

对于向量空间${\mathbb{R}}^n$，如果$n$个向量组成的矩阵为可逆矩阵，则这$n$个向量为该空间的一组基，而数字$n$就是该空间的维数（dimension）。

维数

这里教授重点讲解了两个关系式

1. 列空间维数 $dimC(A)=rank(A)=列主元个数$
2. 零空间维数 $dimN(A)=n-rank(A)=自由变量个数$

举例：
$$A=\left[\begin{array}{cccc}1& 2& 3& 1\\ 1& 1& 2& 1\\ 1& 2& 3& 1\end{array}\right]$$
A的列向量线性相关，其零空间中有非零向量，

所以$2=rank(A)=主元存在的列数=列空间维数$。

$Ax=0$的有两个特解，如
$$x_1=\left[\begin{array}{c}-1\\ -1\\ 1\\ 0\end{array}\right],x_2=\left[\begin{array}{c}-1\\ 0\\ 0\\ 1\end{array}\right]$$

所以特解的个数就是自由变量的个数就是零空间维数

10.四个基本子空间

四个基本子空间

对于$m\times n$矩阵$A$，$rank(A)=r$有：

• 行空间$C(A^T)\in {\mathbb{R}}^n,dimC(A^T)=r$，基见例1。

• 零空间$N(A)\in {\mathbb{R}}^n,dimN(A)=n-r$，自由元所在的列即可组成零空间的一组基。

• 列空间$C(A)\in {\mathbb{R}}^m,dimC(A)=r$，主元所在的列即可组成列空间的一组基。

• 左零空间$N(A^T)\in {\mathbb{R}}^m,dimN(A^T)=m-r$，基见例2。

例1：行空间的基

$$A=\left[\begin{array}{cccc}1& 2& 3& 1\\ 1& 1& 2& 1\\ 1& 2& 3& 1\end{array}\right]\underrightarrow{消元、化简}\left[\begin{array}{cccc}1& 0& 1& 1\\ 0& 1& 1& 0\\ 0& 0& 0& 0\end{array}\right]=R$$

• 由于我们做了行变换，所以A的列空间受到影响，$C(R)\ne C(A)$，

• 行变换并不影响行空间，所以可以在$R$中看出前两行就是行空间的一组基。

• 所以，可以得出无论对于矩阵$A$还是$R$，其行空间的一组基，可以由$R$矩阵的前$r$行向量组成（这里的$R$就是第七讲提到的简化行阶梯形式）。

例2：左零空间的基

1. 命名来源

$A^{T}y=0\to (A^{T}y{)}^T=0^T\to y^{T}A=0^T$，因此得名。

2. 基本思路
   采用Gauss-Jordan消元，将增广矩阵$\left[\begin{array}{cc}{A}_{m\times n}& I_{m\times m}\end{array}\right]$中$A$的部分划为简化行阶梯形式$\left[\begin{array}{cc}{R}_{m\times n}& E_{m\times m}\end{array}\right]$，此时矩阵$E$会将所有的行变换记录下来。

3. 操作实例

本例中

$$\left[\begin{array}{cc}{A}_{m\times n}& I_{m\times m}\end{array}\right]=\left[\begin{array}{ccccccc}1& 2& 3& 1& 1& 0& 0\\ 1& 1& 2& 1& 0& 1& 0\\ 1& 2& 3& 1& 0& 0& 1\end{array}\right]\underrightarrow{消元、化简}\left[\begin{array}{ccccccc}1& 0& 1& 1& -1& 2& 0\\ 0& 1& 1& 0& 1& -1& 0\\ 0& 0& 0& 0& -1& 0& 1\end{array}\right]=\left[\begin{array}{cc}{R}_{m\times n}& E_{m\times m}\end{array}\right]$$

则

$$EA=\left[\begin{array}{ccc}-1& 2& 0\\ 1& -1& 0\\ -1& 0& 1\end{array}\right]\cdot \left[\begin{array}{cccc}1& 2& 3& 1\\ 1& 1& 2& 1\\ 1& 2& 3& 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 1& 1\\ 0& 1& 1& 0\\ 0& 0& 0& 0\end{array}\right]=R$$

• 很明显，式中$E$的最后一行对$A$的行做线性组合后，得到$R$的最后一行，即$0$向量，也就是$y^{T}A=0^T$。

• 所以很明显这里的左零空间的维数（dimension）是1维。

矩阵空间（补充）

最后，引入矩阵空间的概念，矩阵可以同向量一样，做求和、数乘。

举例，设所有$3\times 3$矩阵组成的矩阵空间为$M$。则上三角矩阵、对称矩阵、对角矩阵（前两者的交集）。

观察一下对角矩阵，如果取
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 3& 0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 7\end{array}\right]$$

• 所以很明显这里的左零空间的维数（dimension）是1维。

矩阵空间（补充）

最后，引入矩阵空间的概念，从$R^n->R^{n\times n}$，矩阵可以同向量一样，做求和、数乘。

举例，设所有$3\times 3$矩阵组成的矩阵空间为$M$。则上三角矩阵、对称矩阵、对角矩阵（前两者的交集）。

观察一下对角矩阵，如果取
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 3& 0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 7\end{array}\right]$$
可以发现，任何三阶对角矩阵均可用这三个矩阵的线性组合生成，因此，他们生成了三阶对角矩阵空间，即这三个矩阵是三阶对角矩阵空间的一组基。