MIT线性代数——3.4：线性独立、基、维度

本节的几个大的知识点能够用一句话来概括：以一组 相互独立 的向量为 基 而张成的空间的 维度 是这些向量的个数。 好了，本节完……

……不了。

本节引导

1. 矩阵A中的列独立等价于" $Ax=0$ 的唯一解为 $x=$ 0 ", 矩阵A的零空间为 Z 也就是 {0}
2. 向量之间独立，换句话说就是对于相互独立的几个向量，$v_1,v_2,\dots \dots ,v_k$，如果一组系数 $c_1,c2,\dots \dots ,c_k$，使得 $c_1{v}_1+c_2{v}_2+\dots \dots +c_k{v}_k=0$，那么这几个系数一定都等于0。
3. 列数n大于行数m的矩阵 $A$，一定是存在至少 n -m 个自由元，$Ax=0$ 一定有非零解，一定存在一组系数 $c_1,c2,\dots \dots ,c_k$，使得 $c_1{v}_1+c_2{v}_2+\dots \dots +c_k{v}_k=0$，而且这些系数一定有非零项。
4. 如果空间 $S$ 是一由组向量 $v_1,v_2,\dots \dots ,v_k$的所有线性组合构成的，那么我们可以说这些向量 $v^{\prime }s$ 张成了空间 $S$。
5. 同4，如果这组向量相互独立，我则可以说这组向量是空间 $S$ 的基。
6. 同5，这些互相独立张成空间 $S$ 的向量的个数，叫做空间的维度。
7. 如果矩阵 $A$ 是 $n\times n$ 可逆矩阵（也就是我一点点化简，最后能把这个矩阵化成单位矩阵），那么这个矩阵的所有列是一个 n 维空间 $R^n$ 的基。

3.4.1 线性无关

1. 定义

• 单纯从矩阵上来理解，线性无关就是矩阵方程 $Ax=0$ 的解是个零向量。
• 再简单一点就是，上面引导中的那句话：
  相互独立的几个向量，$v_1,v_2,\dots \dots ,v_k$，如果一组系数 $c_1,c2,\dots \dots ,c_k$，使得 $c_1{v}_1+c_2{v}_2+\dots \dots +c_k{v}_k=0$，那么这几个系数一定都等于0。

2. 理解

如果是第一句定义， $Ax=0$ 本质上就是找到矩阵 $A$ 中的所有列向量的某些组合方式，使得这些列向量的组合结果为0。

图示

我们来看看相互独立的向量的模样：

（2，1，0）、（1，2，0）、（2，2，3）
matlab牛逼，我用pyhton没画出来😂

这几个向量你就随便组合，使劲组合，能组成 0 算我输。
红色向量和黄色向量能组合成整个XY平面，但是XY平面里的所有向量都不能和紫色向量组合成零向量。
所以我们说这几个向量线性无关。
那么这些向量组成的矩阵$A_1$：
$$\left[\begin{array}{ccc}2& 1& 2\\ 1& 2& 2\\ 0& 0& 3\end{array}\right]是线性无关的。$$

那么线性相关的向量是啥样？

这几个向量（2，1，0）、（1，2，0）、（2，2，0）都在一个平面里，随便两个向量就能组合成另外一个向量的相反量。他们三个一定有一种组合方式能够组成0向量。我们用这些向量当作列向量构成$A_2$
$$\left[\begin{array}{ccc}2& 1& 2\\ 1& 2& 2\\ 0& 0& 0\end{array}\right]是线性相关的。$$

处理矩阵

我们化简这两个矩阵，$A_1$通过化简得到 $R_1$，我们发现这成了单位矩阵了。
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
那么在变换的同时我们也能获得$A_1$逆矩阵
$$\left[\begin{array}{ccc}0& -1/3& -2/9\\ -1/3& 2/3& -2/9\\ 0& 0& 1/3\end{array}\right]$$

与此同时，化简 $A_2$ 获得 $R_2$
$$\left[\begin{array}{ccc}1& 0& 2/3\\ 0& 1& 2/3\\ 0& 0& 0\end{array}\right]$$
这个$A_2$是没有办法通过行变换获得单位矩阵了，也就是说明他不可逆。

结论

上面有点跑题，但是不要紧，我们看看 $R_1$ 和 $R_2$，他们的秩分别是多少？一个是3，一个是2，秩也就是主元数， 由上图我们可以看到，$A_1$表示的空间是一个三维空间，$R_1$ 的秩为3，说明$A_1$的三个列向量是相互独立的，都是主元所在的列，任何两个向量都没法表示第三个，他们三个永远都不能组成零（除了系数都为0的那种情况），那么$A_1$的三个列向量共同构成了$A_1$这个空间的基底，这三个列向量张成了一个三维空间。

而 $R_2$ 的主元为2，则说明有一个向量是多余的，只需要其中任意两个向量即可以表示他们三个所在的平面，所以多了一个自由元。那么你可以认为，主元列这几个向量就是矩阵空间的基底，这几个向量张成了这个矩阵空间。

3. 几个重点

• 列满秩矩阵，一个矩阵为列满秩矩阵，则说明了该矩阵的主元数等于列数，那么就像我们上面的$A_1$ 一样，这些列向量都是线性无关的。
• 如果我们有一个$m\times n$的矩阵，如果n > m，列向量空间的维度最多为m，所有列的组合成的空间都是$R^m$的子空间，那么在m维向量空间里的任意n个不同的向量一定是线性相关的。

3.4.2 张成空间的向量们

1. 定义

如果一组向量能够通过线性组合填充空间 $S$，我们可以说，这组向量张成了空间 $S$。需要注意一下的是，这些向量不一定是线性无关的。

2. 行向量空间

类似于我们之前一直讨论的列向量空间，所有的行也是能在一起进行线性组合的并形成向量空间的。对于矩阵 $A$，列向量空间是$R^m$的子空间，行向量空间其实就是矩阵转置后$A^T$的列向量空间，参考上一节最后强调的，行向量空间就成为了 $R^n$ 的子空间。

3.4.3 向量空间的基

1. 定义

一个向量空间的基是一组向量，这一组向量必须满足如下两个特点：

• 相互独立
• 能够张成该向量空间

在矩阵空间内的任何一个向量都能由这组基，用唯一的线性组合方式构成。

2. 几个重点

• 标准基
  n维向量空间的标准基就是一个n维的单位矩阵里的列向量组

• 每一个$n\times n$可逆矩阵的列向量组都能构成一个$R^n$向量空间的基。

• 不可逆的奇异矩阵的主元列是其列向量空间的基，同样，主元所在的行也是其行空间的基。

我们来通过实例理解上面的两句话：

矩阵A是一个典型的可逆的$n\times n$矩阵，他的所有列相互独立，都是主元，所有列能构成$R^3$矩阵空间的基。

而对于矩阵B，这是一个奇异矩阵，化简后得到
$$\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 1\\ 0& 0& 0\end{array}\right]$$
所以这个矩阵的秩为2，也就是说：
A（注意是A，R跟A的列空间不同)的列空间的一组基为$\left[\begin{array}{ccc}1& 1& 1\end{array}{]}^T和\right[\begin{array}{ccc}0& 1& 1\end{array}{]}^T$

3.4.4 空间的维度

1. 维度的确定性

对于一个向量空间，我们有很多种选择它的基的方式，但是所有的基的向量数量都是一定的，也就是说，一个空间的维度是确定的。这里是有证明的，为了避免我写的太混乱，先拿老爷子的证明过程镇一镇，大家可以看看老爷子的解释。

• 首先，提出需要证明的结论：
  一个向量空间中所有的基中的向量个数都相等

• 反证：假设两个基，$w^{\prime }s、v^{\prime }s$ 分别代表 $w_1\dots \dots w_n、v_1\dots \dots v_m$，n > m(只要不相等，一定是一个的数量大于另一个）

• 由于 $w^{\prime }s、v^{\prime }s$ 都是同一个矩阵空间的基，那么 $w$ 中的任何一个向量都在该矩阵空间中，并且 $w^{\prime }s$ 的任何一个向量都能被 $v^{\prime }s$ 中的向量线性组合来表示。

• 那么根据上面的一点，我们构造方程
  $$W=VA$$
  W 就是 $w^{\prime }s$，V 就是 $v^{\prime }s$，A是啥？我们不是说了吗，W中的每个向量都能被V中的向量们线性组合来表示。由于矩阵相乘的性质，A一定是m行；而且最后的结果是W，是n行向量，那么A一定是n列。拿A的第一列来说，从$a_{11}到a_{m1}$，分别与$v_1到v_m$相乘，最后m个向量相加，则获得了$w_1$。
  所以A是啥？A可以认为是向量组$v^{\prime }s$变换到$w^{\prime }s$的一种方式。这种方式用矩阵来表示，并且该矩阵是$m\times n$的。

• 开始强行操作：
  ∵ A是$m\times n$的一个小胖子（行数m小于列数n）①
  ∴ $Ax=0$一定存在非零解（小胖子一定有自由元）②
  ∴ $Ax=0$成立 ③
  ∴ $V0=VAx=0$ 成立 ④
  ∵ $W=VA$ ⑤
  ∴ $Wx=0$ 成立 ⑥
  ∵ ②
  ∴ $Wx=0$ 存在非零解 ⑦
  ∵ $W$ 是向量空间的基 ⑧
  ∴ $Wx=0$ 不存在非零解 ⑨
  故导出矛盾，m不可能≠n

3.4.5 矩阵空间的基

其实矩阵空间没啥，主要是把我们上面讲的向量的知识都换成矩阵。
就比如一个空间包含所有的$2\times 2$矩阵，那它的维度就是4，这四个分别在四个角是1，其余是零，那么就说明任何一个$2\times 2$都能由这4个基来线性组合获得。
主要记住这几个

• 如果一个空间包含所有的$n\times n$矩阵，那么他的维度是$n^2$
• 如果是只包含上三角，则维度为$1+2+\dots \dots +n)=n^2/2+n/2$
• 只包含对角矩阵，你想想对角总共就n个元素，所以空间的维度为n
• symmetric 对称的，对称矩阵空间的维度与上三角是相同的，为啥？
  推荐一个知乎大佬的分析：
  MIT线性代数11：矩阵空间，秩 1 矩阵
  他的解析是这样的：
  
  如上图的（3），所以对称矩阵空间的维度也是是$1+\dots \dots +n=n^2/2+n/2$。

结尾

其实最后还有个函数空间，但是我实在是没法参透其中的奥秘，继续学，我一定会回来的。