MIT线性代数Linear Algebra公开课笔记第九讲线性相关性、基、维数（lecture 9 Independence, Basis and Dimension）

最新推荐文章于 2024-09-08 15:12:17 发布

WongRUIRui

最新推荐文章于 2024-09-08 15:12:17 发布

阅读量755

点赞数

文章标签：算法线性代数矩阵

本文链接：https://blog.csdn.net/m0_46304044/article/details/104519409

版权

本节是Gilbert Strang的MIT线性代数Linear Algebra公开课中【第九讲线性相关性、基、维数（lecture 9 Independence, Basis and Dimension）】的笔记，参考他在 MIT Linear Algebra课程网站上公开分享的 lecture summary (PDF) & Lecture video transcript (PDF)等文档，整理笔记如下，笔记中的大部分内容是从 MIT Linear Algebra课程网站上的资料中直接粘贴过来的，本人只是将该课程视频中讲述的内容整理为文字形式，前面的章节可在本人的其他博客中找到（此处戳第一讲，第二讲，第三讲，第四讲，第五讲，第六讲，第七讲，第八讲），后面的章节会按照视频顺序不断更新~

文章目录

lecture 9 Independence, Basis and Dimension

lecture 9 Independence, Basis and Dimension

1 线性无关（Linear independence）

Independence是Linear independence的简称；

1.1 定义

Vectors $x_1, x_2, \dots, x_n$ are linearly independent (or just independent) if no combination gives the zero vector（except the zero combination）, that is, the combination $c_{1} x_{1}+c_{2} x_{2}+\cdots+c_{n} x_{n}=0$ only when $c_1, c_2, ..., c_n$ are all $0$ . When those vectors are the columns of $A$ , the only solution to $A x = 0$ is $x = 0$ .

1.2 判定是否线性无关

若矩阵 $A$ ： $m \times n$ ( $m < n$ )，则方程组的未知数个数 $>$ 方程个数，由于一共 $n$ 个变量，而主元最多只有 $m$ 个，故至少存在 $n - m$ 个自由变量，因此，零空间中包含非零向量，即方程组 $A x = 0$ 含有非零解；求解 $A x = 0$ 方法：按行消元，确定自由变量，对自由变量取非零值（如 $1$ ），然后回代求解主变量的值，至此求出 $A x = 0$ 的一个解，且是非零解，此时矩阵 $A$ 的各列对应的组合结果为 $0$ ，且组合系数（即为非零解）非零，故 $A$ 的各列是相关的（dependent）。

综上，可以将需要判断相关性的向量（ $v_1, v_2, ..., v_n$ ）放到一个矩阵中，即当 $v_1, v_2, ..., v_n$ 是矩阵 $A$ 的各列时，如果他们是线性无关的（矩阵 $A$ 的各列线性无关），则矩阵 $A$ 的零空间中只有零向量 $N(A)=\{0\}$ ，且 $\text{rank}(A)=n$ （没有自由变量）；如果零空间中存在非零向量，那么他们就是相关的，此时 $\text{rank}(A)<n$ （有自由变量）。

解存在的原因：一定存在自由变量（至少一个）

一般说一组向量线性无关，不说矩阵是线性无关的。我们感兴趣的是矩阵的各列是否相关，如果零空间 $N (A)$ 中存在非零向量，那么该矩阵的各列相关。

Two vectors are independent if they do not lie on the same line. Three vectors are independent if they do not lie in the same plane.

Example 1：

假设二维空间中的两个向量： $v_1=v$ ， $v_2=2v$ ，他们是相关的（dependent），因为 $2v_1-v_2=0$ ，即存在非零组合使结果为 $0$ 。
假设二维空间中的两个向量： $Cannot read property 'type' of undefined$ ， $Cannot read property 'type' of undefined$ ，他们是相关的，因为他们的组合 $xv_1+yv_2=0$ 中 $x$ 一定为 $0$ ，而 $y$ 为任意值。

如果向量组中包含了一个零向量，那么这组向量就是相关的。
假设二维空间中的两个向量如下图，可见任何 $v_1$ 和 $v_2$ 的组合都无法得到零向量（除了零组合），故他们是无关（independence）的。

如果在图中加入向量 $v_3$ 如下图，此时是在二维空间或在一个平面里随意的画出三个向量，则他们是相关的。

因为如果构造一个 $2 \times 3$ 的矩阵 $A$ （它的三列分别为 $v_1, v_2, v_3$ ），则该矩阵对应的线性方程组一定存在自由变量，故存在非零的 $c_1, c_2, c_3$ 来代替未知数 $x$ ，使得对应的线性组合结果为零向量，即构成 $A x = 0$ 。（相当于从原点出发，途经某倍的 $v_1$ , 某倍的 $v_2$ 和某倍的 $v_3$ , 最终回到原点）。

2 “生成”空间（Spanning a space）

——向量组生成或展开（span）一个空间（spanning a space），是什么意思？

——Vectors $v_1, v_2, \dots, v_k$ span a space means: the space consists of all combinations of those vectors.

对于一个向量组，他们能够生成一个空间。如果给出一个向量组，并令 $S$ 为他们生成的空间，则意味着： $S$ 包含该向量组所有的线性组合，且 $S$ 是包含这些向量的空间中最小的一个；因为任何包含这些向量的空间，必须包含这个向量组的线性组合，如果仅仅包含这些组合，我们就得到最小的一个空间，这个空间就是向量组的生成空间。

将 “把向量组的所有线性组合的结果放到一个空间里面” 简称为 “生成” 。

例如，对于矩阵的列空间，相当于找到了矩阵的列的所有线性组合，矩阵的列向量生成了列空间，这些列可能相关，也可能无关。

3 基&维数（Basis and dimension）

3.1 基

我们最关心的是既能生成空间，本身又是无关的向量组，即向量的个数必须适当，如果个数不足，则无法生成需要的空间，若个数太多，则他们不是线性无关的，故提出“基”的概念，它包含的向量个数不多不少。

3.1.1 定义

A basis（基） for a vector space is a sequence of vectors $v_1, v_2, ..., v_d$ with two properties:

$v_1, v_2, ..., v_d$ are independent;
$v_1, v_2, ..., v_d$ span the vector space.

The basis of a space tells us everything we need to know about that space.

Example 2： $\mathcal{R}^3$

One basis for $\mathcal{R}^3$ is $\left\{\left[\begin{array}{l}{1} \\ {0} \\ {0}\end{array}\right],\left[\begin{array}{l}{0} \\ {1} \\ {0}\end{array}\right],\left[\begin{array}{l}{0} \\ {0} \\ {1}\end{array}\right]\right\}$ （这不是唯一的一组基），他们线性无关（就像 $x 、 y 、 z$ 轴），且
$c_{1}\left[\begin{array}{c} {1} \\ {0} \\ {0} \end{array}\right]+c_{2}\left[\begin{array}{c} {0} \\ {1} \\ {0} \end{array}\right]+c_{3}\left[\begin{array}{c} {0} \\ {0} \\ {1} \end{array}\right]=\left[\begin{array}{c} {0} \\ {0} \\ {0} \end{array}\right]$
is only possible when $c_1 = c_2 = c_3 = 0$ . These vectors span $\mathcal{R}^3$ . 当他们构成矩阵各列，则构成单位阵，而单位阵的零空间只有零向量，因此这些列向量线性无关。
由于这组基不是唯一一组，故可以举出另一组基：
- 如果是 $\left[\begin{array}{l}{1} \\ {1} \\ {2}\end{array}\right],\left[\begin{array}{l}{2} \\ {2} \\ {5}\end{array}\right]$ ，他们虽然线性无关，但是不能生成 $\mathcal{R}^3$ ，因为他们生成的空间是 $\mathcal{R}^3$ 中的一个平面，故他们是平面的一组基，但是他们不能构成 $\mathcal{R}^3$ 的基。
- 如果再增加一个向量： $\left[\begin{array}{l}{3} \\ {3} \\ {7}\end{array}\right]$ ，这个是不可以的，因为他与前两个向量相关（他是前两个向量的和，他们三个共面），因此他们三个生成的仍然是那个平面；另外，由于他们相关，故不能构成一组基；因此，需要取不在此平面上的任意向量；
- 如果是取 $\left[\begin{array}{l}{3} \\ {3} \\ {8}\end{array}\right]$ ：
  
  ——如何检验是否可以？（如何知道他们是否能构成基？）
  
  ——可以将他们作为矩阵的列向量构成一个矩阵，然后对该矩阵进行消元和行变换，看是否有自由变量，是否列都是主列；
  
  ——他们是否能够构成基？
  
  ——不可以，因为他们构成的矩阵有两个相同行，即会出现零行，因此这三个向量不是线性独立的，故不能；另外，现在这三个列向量构成的是 $3 \times 3$ 的方阵，方阵必须可逆，其列才能组成基。

若空间 $\mathcal{R}^n$ 中的 $n$ 个向量要构成基，那么以这 $n$ 个向量为列的 $n \times n$ 方阵必须是可逆的（invertible matrix）。

无关的所有列向量正好生成矩阵列空间，他们无关，所以是列空间的基。

3.1.2 特点

基不唯一，任取某可逆 $3 \times 3$ 矩阵，其列都是 $\mathcal{R}^3$ 的基，也就是：只要矩阵可逆，其列空间就是 $\mathcal{R}^3$ ；

如果是空间 $\mathcal{R}^3$ ，则基向量的个数是 $3$ ；如果是空间 $\mathcal{R}^n$ ，那么基向量的个数就是 $n$ ；某矩阵的列空间或者零空间，或任意形状的空间，他们都有相同的性质：虽然基有很多组，但所有基中的向量个数都是一样的；

3.2 维数

一个空间对应的基有很多组，但是每一组中的向量个数都是相同的，而基中的向量的个数就是该空间的维数。Given a space, every basis for that space has the same number of vectors; that number is the dimension of the space.

3.3 总结

四个定义：

线性无关：非零线性组合不为 $0$

生成：所有的线性组合

基：一组无关的向量，并生成空间

空间的维数：基向量的个数（所有基的向量个数都是一样的）

4 列空间和零空间的基（Bases of a column space and nullspace）

4.1 列空间的基（Bases of a column space）

如果你知道所处理的空间的维数（如列空间的维数 $\text{dim C(A)} =2$ ），即确定了所要找的线性无关的向量的数目（基向量的数目）（即 $2$ ），找到这些向量后，他们就会是一组基。

矩阵 $A$ 的秩 = 主列的数目 = 列空间的维数（dimension of $\text{C(A)}$ ）

注意：不是矩阵 $A$ 的维数，而是 $A$ 的列空间的维数；同理，不会说是列空间的秩，因为只有矩阵才有秩；故维数只是对应空间来说，而秩是对于矩阵来说，不能混淆。

Example 3：
$A=\left[\begin{array}{llll} {1} & {2} & {3} & {1} \\ {1} & {1} & {2} & {1} \\ {1} & {2} & {3} & {1} \end{array}\right]$

——他们能生成矩阵的列空间吗？

——能，这就是列空间的定义。
——他们是列空间的基吗？

——不是，因为他们线性相关（后两列与前两列相关），矩阵的零空间内不只有 $0$ ，还有非零向量，如 $\left[\begin{array}{r}{ -1} \\ {-1} \\ { 1} \\ {0}\end{array}\right]$ 。
——为这个矩阵的列空间找一组基？

——答案有很多，最简单的是：第一列和第二列；因为虽然后两列与前两列相关，但是前两列是独立的，这两列是主列，故他们能构成列空间 $C (A)$ 的一组基。另外， $\text{rank}(A)=2$ ；
——找出这个列空间的另一组基？

——可以是：列一和列三，或者是列二和列三，或者是列二和列四；如果需要找出不是由这些列组成的基，可以是 $\left[\begin{array}{llll} {2} \\ {2} \\ {2} \end{array}\right]$ 和 $\left[\begin{array}{llll} {7} \\ {5} \\ {7} \end{array}\right]$ 等，他们是线性无关的，而且数目也刚好是 $2$ 。

4.2 零空间的基（Bases of nullspace）

零空间的维数 = 自由变量的个数 = $n - r$ （ $KaTeX parse error: Expected '}', got '#' at position 18: \dotsext{dim N(A) = #̲free variables}\dots$ ）

$n$ 列中有 $r$ 个是主列， $n - r$ 是自由列和自由变量的个数。

零空间的向量告诉我们：怎样组合矩阵的列向量会得到零向量，即怎样这些列才会线性相关。

矩阵 $A$ 的列向量相关，则零空间 $N (A)$ 包含非零向量。

Example 4：

在Example 3中已知，矩阵 $A$ 的零空间中有 $\left[\begin{array}{r}{-1} \\ {-1} \\ {1} \\ {0}\end{array}\right]$ ，但是这不是一组基，因为他生成不了零空间，在零空间内还有其他向量，如 $\left[\begin{array}{r} {-1} \\ {0} \\ {0} \\ {1}\end{array}\right]$ ，这两个向量是 $A x = 0$ 的special solutions（对应选择后两个变量为自由变量，赋予他们 $1 、 0$ 或 $0 、 1$ 得到的结果）。