3.1 向量空间

一、向量空间

我们从最重要的向量空间开始，表示为 $R^1，R^2，R^3，R^4，\cdots$。每个空间 $R^n$ 包含一整个向量的集合。$R^5$ 包含全部有 $5$ 个分量的列向量，称为 $5$ 维空间。

$$定义空间R^n包含全部有n个分量的列向量\mathbf{v}$$

向量 $\mathbf{v}$ 的分量都是实数，所以用字母 $R$ 表示。如果向量有 $n$ 个复数分量，则它会落在空间 $C^n$ 中。
向量空间 $R^2$ 就是通常的 $xy$ 平面，每个 $R^2$ 中的向量都有两个分量。空间需要我们考虑全部的向量，这里表示的是整个 $xy$ 平面。每个向量给出平面内一点 $x$ 和 $y$ 的坐标：$\mathbf{v}=(x,y)$。
相似的，$R^3$ 中的向量对应三维空间中的点 $(x,y,z)$。一维空间 $R^1$ 是一条直线（就像 $x$ 轴一样）。我们将向量表示为括号中的列，或用逗号和括号写在一行：$$\left[\begin{array}{c}4\\ \pi \end{array}\right]在R^2，(1,1,0,1,1)在R^5，\left[\begin{array}{c}1+i\\ 1-i\end{array}\right]在C^2$$线性代数最伟大的地方就是可以很容易处理 $n$ 维空间，而不必画出向量。仅仅需要 $n$ 个数字。
$\mathbf{v}$ 乘 $7$ 是将每个分量乘 $7$，此处的 $7$ 是标量。在 $R^5$ 中做向量的加法，就是将它们对应的分量分别相加。这是在向量空间中的两个最重要的向量运算，它们产生了线性组合。$$在R^5中可以对任意向量相加，也可以对任意向量\mathbf{v}乘上标量c。$$“在向量空间中” 意味着结果仍然在该空间中。如果 $\mathbf{v}$ 是 $R^4$ 中的向量，其分别分别是 $1,0,0,1$，则 $2\mathbf{v}$ 也是 $R^4$ 中的向量，其分量为 $2,0,0,2$（此处 $2$ 是标量）。一整个系列的性质都可以在 $R^n$ 中验证。所有的向量空间都必须满足 $8$ 个规则：

1. $\mathbf{x}+\mathbf{y}=\mathbf{y}+\mathbf{x}$ 交换律
2. $\mathbf{x}+(\mathbf{y}+\mathbf{z})=(\mathbf{x}+\mathbf{y})+\mathbf{z}$ 加法结合律
3. 对于所有的向量 $\mathbf{x}$，存在唯一的零向量使得 $\mathbf{x}+0=\mathbf{x}$
4. 对于每个 $\mathbf{x}$ 存在唯一的向量 $-\mathbf{x}$ 使得 $\mathbf{x}+(-\mathbf{x})=0$
5. 1 乘 $\mathbf{x}$ 等于 $\mathbf{x}$
6. $(c_1{c}_2)\mathbf{x}=c_1(c_2\mathbf{x})$
7. $c(\mathbf{x}+\mathbf{y})=c\mathbf{x}+c\mathbf{y}$ 分配律
8. $(c_1+c_2)\mathbf{x}=c_1\mathbf{x}+c_2\mathbf{x}$

每个向量空间都要满足上述 $8$ 个规则，它们是向量而不是列向量，除 $R^n$ 外，还存在其它的向量空间。
一个实数向量空间是一系列向量的集合，遵循实数向量的加法和数乘，加法和数乘得到的向量必须还在该空间内，同样也需要满足这八个规则。下面是三个 $R^n$ 之外的向量空间：

$$\begin{array}{cc}\text{M}& 所有2\times 2的实数矩阵组成的向量空间\\ \text{F}& 所有实函数f(x)所组成的向量空间\\ \text{Z}& 只包含一个零向量的向量空间\end{array}$$

$\text{M}$ 中的向量实际上是矩阵，$\text{F}$ 中的向量是函数，$\text{Z}$ 中的加法仅有一个 $0+0=0$。上面每个例子都可以相加：矩阵加矩阵，函数加函数，零向量加零向量。我们也可以用 $4$ 乘矩阵，$4$ 乘函数或用 $4$ 乘零向量，得到的结果仍然在 $\text{M}$、$\text{F}$ 或 $\text{Z}$ 中，很容易验证这 $8$ 个规则。
函数空间 $\text{F}$ 是无限维的，小一点的空间是 $\text{P}$ 或 ${\text{P}}_n$，它包含所有的 $n$ 次多项式：$a_0+a_{1}x+\cdots +a_n{x}^n$。
空间 $\text{Z}$ 是一个零维空间（通过合理的维度定义）。$\text{Z}$ 是最小可能的向量空间，我们暂且称为 $R^0$，它表示没有分量的向量，它仅有一个向量——零向量。每个向量空间都有自己的零向量——零矩阵，零函数，$R^3$ 中的零向量 $(0,0,0)$。

二、子空间

有时，我们需要将矩阵与函数看成是向量，但是大多数情况下，我们处理的是正常的列向量，它们是具有 $n$ 个分量的向量——但是可能不是有 $n$ 个分量的全部向量。它们是在 $R^n$ 中重要的向量空间，是 $R^n$ 的子空间。
从三维空间 $R^3$ 开始，选择一个通过原点 $(0,0,0)$ 的平面，这个平面自身就是一个向量空间。如果我们在这个平面内将两个向量相加，它们的和也在该平面中；如果该平面的向量乘上一个标量，例如 $2$ 或 $-5$，得到的新向量也在该平面中。三维空间中的平面不是 $R^2$，三维空间中的向量有 $3$ 个分量，它们属于 $R^3$，这个平面是 $R^3$ 中的向量空间。
通过 $(0,0,0)$ 的平面是整个向量空间 $R^3$ 中的子空间，这个是线性代数中最重要的基础概念之一：

定义 \kern 5pt 向量空间的子空间是满足两个条件的一系列向量的集合（包含 $0$）：如果 $\mathbf{v}$ 和 $\mathbf{w}$ 是子空间中的向量且 $c$ 是任意标量，则$$(1)\mathbf{v}+\mathbf{w}在子空间中(2)c\mathbf{v}在子空间中$$

换句话说，在这个向量集合中的加法 $\mathbf{v}+\mathbf{w}$ 和数乘 $c\mathbf{v}$（和 $d\mathbf{w}$）是封闭的。这些运算的结果仍然在子空间中，我们也可以做减法，因为 $-\mathbf{w}$ 也在子空间中，和是 $\mathbf{v}-\mathbf{w}$。简单的说，所有的线性组合仍然在子空间中。
这些运算都遵循主空间的规则，也自动满足八个条件。所以我们只需要检验子空间中的线性组合条件即可。
关于子空间有两个结论：第一，每个子空间都包含零向量。$R^3$ 中的平面必须经过 $(0,0,0)$，因为这直接遵循上述的条件（2），若 $c=0$，$0\mathbf{v}$ 也必须在子空间中。
不包含原点的平面不是子空间，因为不满足数乘的条件。
第二，通过原点的直线也是子空间。我们将该直线的向量乘上一个数（例如 $5$），或者将该直线上的两个向量相加，结果仍然在该直线上，但是直线必须经过 $(0,0,0)$。
另一个子空间就是全部的 $R^3$。整个空间就是一个子空间（它自己的）。下面列出 $R^3$ 里所有可能的子空间：

1. $(\text{L})$任意经过 $(0,0,0)$ 的直线
2. $({\text{R}}^3)$整个空间
3. $(\text{P})$任意经过 $(0,0,0)$ 的平面
4. $(\text{Z})$单个向量 $(0,0,0)$

如果我们仅保留一条直线或一个平面的一部分，则无法满足子空间的条件。下面是 ${\text{R}}^2$ 中不是子空间的例子。

【例1】仅保留分量大于或等于零的向量 $(x,y)$（这是平面的四分之一）。它包含向量 $(2,3)$ 但是不包含向量 $(-2,-3)$。当取 $c=-1$ 时，就不满足条件（2），因此这个四分之一的平面不是子空间。

【例2】在上例中再加上分量都为负数的向量。现在有两个四分之一平面。满足条件（2），可以任意选取 $c$。但是选 $\mathbf{v}=(2,3)$，$\mathbf{w}=(-3,-2)$ 时，它们的和 $\mathbf{v}+\mathbf{w}=(-1,1)$ 不在这两个四分之一平面内，所以不满足条件（1），这个也不算子空间。
规则（1）和（2）与向量的加法 $\mathbf{v}+\mathbf{w}$ 和 标量 $c$ 和 $d$ 的数乘有关，我们可以将这两个规则合成一个就得到 —— 子空间的规则：

$$一个包含\mathbf{v}和\mathbf{w}的子空间，必须包含所有的线性组合c\mathbf{v}+d\mathbf{w}$$

【例3】$2\times 2$ 矩阵的向量空间 $\text{M}$ 中有下列两个子空间：$$(\text{U})所有上三角矩阵\left[\begin{array}{cc}a& b\\ 0& d\end{array}\right](\text{D})所有的对角矩阵\left[\begin{array}{cc}a& 0\\ 0& d\end{array}\right]$$将任意两个上三角矩阵 $\text{U}$ 相加，结果仍然是 $\text{U}$；任意两个对称矩阵 $\text{D}$ 相加，结果仍是 $\text{D}$。这里 $\text{D}$ 也是 $\text{U}$ 的子空间。零矩阵也是子空间，此时 $a，b，d$ 都为 $0$。$\text{Z}$ 永远是子空间。
单位矩阵的倍数也是一个子空间。$2I+3I$ 在子空间中，$3$ 乘 $4I$ 也在子空间中。矩阵 $cI$ 在 $\text{M}$ 中与 $\text{U}$ 和 $\text{D}$ 中形成 “矩阵线” （line of matrix）。
单位矩阵 $I$ 自身并不是一个子空间，只有零矩阵自己才是子空间。

三、A 的列空间

最重要的子空间与矩阵 $A$ 直接相关。当我们求解 $A\mathbf{x}=\mathbf{b}$ 时，若 $A$ 不可逆，则对于某些 $\mathbf{b}$，系统有解，而对于另一些 $\mathbf{b}$，系统无解。我们要描述有解的右侧向量 $\mathbf{b}$，它可以写成 $A$ 乘某个向量 $\mathbf{x}$，这些 $\mathbf{b}$ 则形成 $A$ 的列空间。
$A\mathbf{x}$ 是 $A$ 列的线性组合，如果要得到所有的 $\mathbf{b}$，那么就需要使用所有可能的 $\mathbf{x}$。取 $A$ 所有列的线性组合，就得到 $A$ 的列空间。这是由列向量组成的向量空间。
$C(A)$ 不仅包含有 $A$ 的 $n$ 个列，还有它所有列的组合 $A\mathbf{x}$。

定义 \kern 10pt 列空间包含列的所有线性组合，它们的组合就是所有可能的向量 $A\mathbf{x}$，构成列空间 $C(A)$。

列空间至关重要，因为求解 $A\mathbf{x}=\mathbf{b}$ 就是将 $\mathbf{b}$ 表示成列的组合，右侧正确的 $\mathbf{b}$ 必须在左侧 $A$ 的列空间中，否则无解。

$$系统A\mathbf{x}=\mathbf{b}有解，当且仅当\mathbf{b}在A的列空间中$$

当 $\mathbf{b}$ 在 $A$ 的列空间中，它是 $A$ 列的线性组合，这个组合的系数就是 $A\mathbf{x}=\mathbf{b}$ 的解 $\mathbf{x}$。
假设 $A$ 是 $m\times n$ 的矩阵，它的列向量有 $m$ 个分量，所以列属于 ${\text{R}}^m$，$A$ 的列空间是 ${\text{R}}^m$ 的子空间。所有列的集合 $A\mathbf{x}$ 满足子空间的条件（1）和（2）：我们将两个线性组合相加，或者乘上标量，得到的结果仍是列的线性组合。子空间可以通过所有的线性组合验证。

下例中 $A$ 是一个 $3\times 2$ 的矩阵，它的列空间是 ${\text{R}}^3$ 的子空间，如 Figure3.2 所示的一个平面。因为 $A$ 只有两列，所以它的列空间 $C(A)$ 不可能是整个 ${\text{R}}^3$。
【例4】$$A\mathbf{x}=\left[\begin{array}{cc}1& 0\\ 4& 3\\ 2& 3\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=x_1\left[\begin{array}{c}1\\ 4\\ 2\end{array}\right]+x_2\left[\begin{array}{c}0\\ 3\\ 3\end{array}\right]$$这两列所有的线性组合形成的列空间在 ${\text{R}}^3$ 中形成一个平面。图中画出一个特别的 $\mathbf{b}$（列的线性组合），$\mathbf{b}=A\mathbf{x}$ 落在该平面上。这个平面厚度为零，因此 ${\text{R}}^3$ 中大部分的右侧向量 $\mathbf{b}$ 都不在这个列空间中。对于这个三个方程两个未知数的方程组，大部分的 $\mathbf{b}$ 都是无解的。

$(0,0,0)$ 一定在列空间中，列空间一定经过原点。$A\mathbf{x}=0$ 一定有一个解 $\mathbf{x}=0$。
只有当 $\mathbf{b}$ 在列空间中才会有解。当 $\mathbf{b}$ 是第一列本身时，此时解为 $x_1=1，x_2=0$；当 $\mathbf{b}$ 是第二列本身时，此时 $x_1=0，x_2=1$。更深入的理解是——找到所有的组合，得到的整个子空间就是有这两个列产生的。
注： $A$ 的列空间表示为 $C(A)$，从这些列开始取得它们所有的线性组合，我们可能会得到整个 ${\text{R}}^m$ 或者一个子空间。
重要： 我们不从 ${\text{R}}^m$ 中的列开始，而是从向量空间 $\text{V}$ 的任意向量的集合 $\text{S}$ 开始，为了得到 $\text{V}$ 的子空间 $\text{SS}$，我们取该集合内向量所有的线性组合：$$\begin{gathered} \text{S}=\text{V}中的向量集合(不一定是子空间) \\ \text{SS}=\text{S}中向量所有的组合(一定是子空间) \end{gathered}$$

$$\text{SS}=\text{all}{c}_1{\mathbf{v}}_1+\cdots c_N{\mathbf{v}}_N=\text{S}张成的\text{V}的子空间$$

当 $\text{S}$ 是列的集合，$\text{SS}$ 就是列空间。如果 $\text{S}$ 中仅有一个非零向量 $\mathbf{v}$，则子空间 $\text{SS}$ 就是穿过 $\mathbf{v}$ 的一条直线。$\text{SS}$ 永远是包含 $\text{S}$ 的最小的子空间，这是创建子空间的基础方法。列张成（span）列空间。
$$子空间\text{SS}由\text{S}张成，它包含\text{S}中向量的所有线性组合$$【例5】描述下列矩阵的列空间，它们都是 ${\text{R}}^2$ 的子空间：$$I=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]A=\left[\begin{array}{cc}1& 2\\ 2& 4\end{array}\right]B=\left[\begin{array}{ccc}1& 2& 3\\ 0& 0& 4\end{array}\right]$$解： $I$ 的列空间是整个空间 ${\text{R}}^2$，每一个向量都是 $I$ 列的线性组合，用向量空间的语言来说，$C(I)$ 是 ${\text{R}}^2$。
$A$ 的列空间只是一条直线，第二列 $(2,4)$ 是第一列 $(1,2)$ 的倍数。这两个向量虽然不一样，但是我们从整个空间上个来看，$(1,2)$，$(2,4)$ 以及其它的向量 $(c,2c)$ 都在这一条直线上。只有当 $\mathbf{b}$ 在这条直线上时， $A\mathbf{x}=\mathbf{b}$ 才有解。
$C(B)$ 是 ${\text{R}}^2$，对于每个 $\mathbf{b}$ 都有解。向量 $\mathbf{b}=(5,4)$ 是列 $2$ 加上列 $3$，所以 $\mathbf{x}$ 可以为 $(0,1,1)$；同样的 $(5,4)$ 也可以是 $2(\text{column}1)+(\text{column}3)$，所以另一个解 $\mathbf{x}$ 是 $(2,0,1)$。这个矩阵的列空间与 $I$ 的列空间相同——任意 $\mathbf{b}$ 都可以。但是 $\mathbf{x}$ 有额外的分量，有更多的解——有更多的组合可以得到 $\mathbf{b}$。

四、主要内容总结

1. ${\text{R}}^n$ 包含所有有 $n$ 个实数分量的列向量。
2. $\text{M}$（$2\times 2$ 的矩阵），$\text{F}$（函数）和 $\text{Z}$（单独的零向量）都是向量空间。
3. 包含 $\mathbf{v}$ 和 $\mathbf{w}$ 的子空间也必须包含它们所有的线性组合 $c\mathbf{v}+d\mathbf{w}$。
4. $A$ 列的线性组合形成列空间 $C(A)$，列空间是由列张成的。
5. 当且仅当 $\mathbf{b}$ 在 $A$ 的列空间中，$A\mathbf{x}=\mathbf{b}$ 有解：$$C(A)=列的所有组合=所有向量A\mathbf{x}$$

五、例题

【例6】给出三个不同的向量 ${\mathbf{b}}_1$，${\mathbf{b}}_2$，${\mathbf{b}}_3$，构建一个矩阵使得 $A\mathbf{x}={\mathbf{b}}_1$ 和 $A\mathbf{x}={\mathbf{b}}_2$ 有解，但是 $A\mathbf{x}={\mathbf{b}}_3$ 无解。如何判断这个可能性？如何构建 $A$？
解： 若 ${\mathbf{b}}_1$，${\mathbf{b}}_2$ 在 $A$ 的列空间中，则 $A\mathbf{x}={\mathbf{b}}_1$ 和 $A\mathbf{x}={\mathbf{b}}_2$ 有解。最快的方法是使 ${\mathbf{b}}_1$ 和 ${\mathbf{b}}_2$ 称为 $A$ 的两列，则解就是 $\mathbf{x}=(1,0)$ 和 $\mathbf{x}=(0,1)。$
若要 $A\mathbf{x}={\mathbf{b}}_3$ 无解，则不能让列空间更大了，只需要列 ${\mathbf{b}}_1$ 和 ${\mathbf{b}}_2$，则问题是：$$A\mathbf{x}=\left[\begin{array}{cc}{\mathbf{b}}_1& {\mathbf{b}}_2\end{array}\right]\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]是否有解？{\mathbf{b}}_3是不是{\mathbf{b}}_1和{\mathbf{b}}_2的线性组合？$$如果这个问题的答案是否定的，则我们就可以得到想要的矩阵 $A$。如果这个答案是 “是”，那么就不可能得到这样的矩阵 $A$。如果列空间包含 ${\mathbf{b}}_1$ 和 ${\mathbf{b}}_2$，那么也会包含它们所有的线性组合，因此，若 ${\mathbf{b}}_3$ 不在该列空间中，$A\mathbf{x}={\mathbf{b}}_3$ 就无解。

【例7】描述每个向量空间 $\text{V}$ 的一个子空间 $\text{S}$，以及 $\text{S}$ 的一个子空间 $\text{SS}$。$$\begin{gathered} {\text{V}}_1=(1,1,0,0)，(1,1,1,0)和(1,1,1,1)所有的线性组合 \\ {\text{V}}_2=所有垂直于\mathbf{u}=(1,2,1)的向量，所以有\mathbf{u}\cdot \mathbf{v}=0 \\ {\text{V}}_3=所有2\times 2的对称矩阵(\text{M}的子空间) \\ {\text{V}}_4=方程{\text{d}}^{4}y/\text{d}{x}^4=0所有的解(\text{F}的子空间) \end{gathered}$$用两种方式描述每个 $\text{V}$：“$\cdots$ 的所有线性组合” \kern 10pt “方程 $\cdots$ 的所有解”
解： ${\text{V}}_1$ 的一个子空间 $\text{S}$ 是前两个向量 $(1,1,0,0)$ 和 $(1,1,1,0)$ 所有的线性组合；$\text{S}$ 的一个子空间 $\text{SS}$ 是第一个向量所有的倍数 $(c,c,0,0)$。还有很多其它的可能。
${\text{V}}_2$ 的一个子空间 $\text{S}$ 是穿过 $(1,-1,1)$ 的直线，这条直线垂直于 $\mathbf{u}$。向量 $\mathbf{x}=(0,0,0)$ 在 $\text{S}$ 中，并且它所有的倍数 $c\mathbf{x}$ 可以得到最小的子空间 $\text{SS}=\text{Z}$。
对称矩阵 ${\text{V}}_3$ 的一个子空间是对角矩阵 $\text{S}$，单位矩阵的倍数 $cI$ 是对角矩阵的一个子空间 $\text{SS}$。
${\text{V}}_4$ 包含所有的三次多项式 $y=a+bx+c{x}^2+d{x}^3$，都满足 ${\text{d}}^{4}y/\text{d}{x}^4=0$。二次多项式是它的一个子空间 $\text{S}$，线性（一次）多项式是 $\text{S}$ 的一个子空间 $\text{SS}$，常数可以是 $\text{SSS}$。
上面所有 $4$ 个向量空间都可以选择 $\text{S}=\text{V}$（它本身），$\text{SS}=\text{Z}$（零子空间）。
每个 $\text{V}$ 都可以描述为两种形式：$$\begin{array}{cc}{\text{V}}_1=3个向量的所有线性组合& {\text{V}}_1=所有的v_1-v_2=0的解(\mathbf{v}=(v_1,v_2,v_3,v_4))\\ {\text{V}}_2=(1,0,-1)和(1,-1,1)所有的线性组合& {\text{V}}_2=所有的\mathbf{u}\cdot \mathbf{v}=0的解\\ {\text{V}}_3=\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right],\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right],\left[\begin{array}{cc}0& 0\\ 0& 1\end{array}\right]所有线性组合& {\text{V}}_3=所有的b=c时\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]的解\\ {\text{V}}_4=1,x,x^2,x^3所有的线性组合& {\text{V}}_4=所有的{\text{d}}^{4}y/\text{d}{x}^4的解\end{array}$$