09线性相关性、基、维数

一个小的结论：假设$A$是一个$m\times n$的矩阵且满足列数大于行数（胖胖的矩阵），那么对应的$Ax=0$一定有非零解（或者说，零空间不为全零解，或者说系数有不是零的）

原因：自由向量选择是随意的，选一个非零的就能使得整个解系数为非零。

一、向量的独立性

独立性：除了全零系数组合，没有任何系数组合使得结果向量为零向量，那么这些向量$x_1,x_2,...x_n$是独立的。
$$c_1{x}_1+c_2{x}_2+\cdots +c_n{x}_n\ne 0$$

如果向量的线性组合为非零且这个系数组合还不是零向量，那么这些向量是线性无关的（只有每个向量手中全部都是零才能使得我为零，可以被评定为线性独立的）。

例子1：$v_1=\left[\begin{array}{c}1\\ 2\end{array}\right]$和$v_2=\left[\begin{array}{c}2\\ 4\end{array}\right]$，$v_1$和$v_2$是否为线性独立的？

答：不是。除了$v_1$和$v_2$全部拿着0系数外，$v_1$拿着-2，$v_2$拿着1。都能让结果向量为0向量，也就是说存在非零系数组合使得等式成立：
$$-2\cdot v_1+1\cdot v_2=0$$

例子2：$v_1=\left[\begin{array}{c}0\\ 0\end{array}\right]$和$v_2=\left[\begin{array}{c}2\\ 4\end{array}\right]$是否线性独立？

答：不是。除了$v_1$和$v_2$全部拿着0系数外，$v_1$拿着-55，$v_2$拿着0，也能使得结果向量为零，也就是说存在非零系数使得下面等式成立：
$$-55\cdot v_1+0\cdot v_2=0$$

事实上，只要该向量组包含零向量，那么这个向量组必然线性相关。这是因为，我总能让零向量拿着非零系数使得这个系数组合为非零向量，也就是不符合向量独立性的定义。

例子3：$v_1=\left[\begin{array}{c}1\\ 1\\ 2\end{array}\right]$ $v_2=\left[\begin{array}{c}2\\ 2\\ 5\end{array}\right]$ $v_3=\left[\begin{array}{c}3\\ 3\\ 8\end{array}\right]$和$v_4=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$向量组是否为线性相关？

答：否。直接快速判断行不通，可以将其转换成求解方程组$Ax=0$的等价问题，只要方程组的零空间($N(A)$)不是零点（高维度坍塌成的一个零解），那么它一定有非零系数。

整个问题变成这些向量组成的系数矩阵$A$对应的方程$Ax=0$的解是否只是一个零解，若是，他是纯纯的线性无关，反之，线性无关。

这也就和前面$Ax=0$上经常采用的系数矩阵变换成上三角矩阵后判断自由向量或者秩的问题，如果有自由向量，那么解不唯一，那就肯定有非零解，如果系数矩阵的秩小于列数（胖胖的矩阵），那么它肯定是线性相关的，换句话说，列满秩就可以断定他是一个线性无关的（因为没有自由向量）。

例子4：二维平面上不共线的三个向量是否是线性无关的？

答：否。将其转换成系数矩阵问题，这个系数矩阵行数$2$(维度)小于列数（3个向量），属于“胖子矩阵”，因此总有自由向量，也就是总是能找到一个非零系数，使得$Ax=0$成立，也就是线性相关。结论：任何一个低维度的向量，不可能让超过其维度的向量线性无关，他总是有一个是多余的“自由向量”。

小结：

• 向量组对应的方程组$Ax=0$零空间只有零向量，那么向量组线性无关；
• 向量组对应的方程组$Ax=0$零空间不光有零向量，还有其他向量，那么向量组线性相关；

其实我们可以直接研究向量组组成的系数矩阵秩的情况就可以判断向量的线性相关性：

• 对应系数矩阵秩小于列数的“胖子矩阵”，一定是线性相关的；
• 对应系数矩阵秩等于列数的方矩阵，一定是线性无关的

二、张成的空间、基、维数

2.1 张成的空间

我们把向量的线性组合形成的空间称为张成（Expand）的空间。这些向量组合不一定是线性相关的，只是单纯的线性组合组成的空间。

向量的个数直接决定了它能够张成的最大空间，如两个向量只能张成$R^2$，三个向量最大只能到$R^3$。你永远不可以少于维数的向量个数表示这个张成的最大空间。

我们需要找到一个合适的最少数目的向量，表示出这个空间特征，这就引出了“基”的概念。

如果一个$4\times 4$的矩阵是可逆的，那么其列向量是$R^4$空间的基。

2.2 基

对于一组向量$v_1{v}_2\cdots \cdots v_d$如果满足以下条件：

• $v_1{v}_2\cdots \cdots v_d$线性无关
• $v_1{v}_2\cdots \cdots v_d$可以张成整个空间

那么我们将这个向量组称为这个空间的基（Basis）。

例子1：判断以下向量组是否为$R^3$空间的基：

$v_1=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]$ $v_2=\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]$ $v_3=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$

显然，他是$R^3$空间的一组基，因为它是列满秩的，所以线性无关，同时向量的个数也等于维度，可以张成指定空间。两个条件都满足，所以是一组基。

$v_1=\left[\begin{array}{c}1\\ 1\\ 2\end{array}\right]$ $v_2=\left[\begin{array}{c}2\\ 2\\ 5\end{array}\right]$

它不可能是$R^3$的一组基，因为向量不足（小于维数）。

$v_1=\left[\begin{array}{c}1\\ 1\\ 2\end{array}\right]$ $v_2=\left[\begin{array}{c}2\\ 2\\ 5\end{array}\right]$ $v_3=\left[\begin{array}{c}3\\ 3\\ 7\end{array}\right]$

不是一个基，不满足线性无关。

$v_1=\left[\begin{array}{c}1\\ 1\\ 2\end{array}\right]$ $v_2=\left[\begin{array}{c}2\\ 2\\ 5\end{array}\right]$ $v_3=\left[\begin{array}{c}3\\ 3\\ 8\end{array}\right]$

是一个基，满足所有条件，线性无关且向量恰好等于维数。

从上面这些例子有以下观察：$n$个向量是$R^n$一个基的条件是：对应的系数矩阵是$n\times n$的方阵且为可逆的。（一旦不可逆，那就是有非零解，有非零解那就是线性无关的，一旦线性无关，那就不是一组基）

3.1 维数

一个空间的基不是唯一的，但是所有基都含有相同的向量个数，我们将这个个数称为这个空间的维数。

零空间和列空间都是也是空间，其维数的情况是如何的？

对于方程$Ax=0$的系数矩阵
$$A=\left[\begin{array}{cccc}1& 2& 3& 1\\ 1& 1& 2& 1\\ 1& 2& 3& 1\end{array}\right]$$
列空间$C(A)$是由多个列向量线性组合形成的，这个空间的维度是多少？换句话说，就是这些列向量可以张成怎么样的空间，这个空间的维度是多少？

如果你的观察力足够好，你可能从中找到一个组基，接着数一下他的个数，最后去确定其维度。但是更多情况，我们会将这个问题转换成$Ax=0$的方程组解的问题。

对上面这个矩阵进行$RREF$后，结果如下：
$$R=\left[\begin{array}{cccc}1& 0& 0& 1\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]$$
矩阵的基是三个主元列：$v_1=\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]$ $v_2=\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]$$v_1=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]$。

这样一来就可以确定列空间的维数是主元列个数，也就是矩阵的秩。

回想之前如何求取零空间，对系数矩阵进行$RREF$，观察自由列和主元列的情况：

• 如果只有主元列，那么（解空间）零空间仅有零解， $X=0$，一个无关向量都没有，维数为0；
• 如果有$r$个主元列，那么零空间的解等于特解个向量组成，特解的个数就是零空间的维数$n-r$