漫步线性代数八——向量空间和子空间

消元简化了线性方程组$Ax=b$，幸运的是它也简化了理论。存在性和唯一性的基本问题(一个解或没有解或无穷多个解)在消去之后很容易回答，我们现在就针对$m\times n$系统讨论这些问题。

但消去只有得到了一种$Ax=b$的一种理解，我们的主要目标是实现不同和更深层次的理解，之后的内容比之前的难一点，它将通向线性代数的核心。

为了给出向量空间的概念，我们首先介绍一下最重要的空间，他们用$R^1,R^2,R^3,\ldots$表示；$R^n$空间由$n$个列向量组成。(我们用$R$表示元素都是实数)$R^2$通常用$x-y$平面来表示；向量的元素变成对应点的$x,y$坐标，$R^3$空间中的向量有三个元素，他们确定的点位于三维空间里，而一维空间$R^1$是一条线。

线性代数有价值的就是到$n$维空间的扩展非常直接，对于$R^7$中的向量，我们只需要七个元素，虽然几何上很难可视化。在所有的向量空间内，下面两种操作都是可能的：

我们可以将任意两个向量相加，我们可以用标量和向量相乘。换句话说，我们可以进行线性组合。

加法满足交换律$x+y=y+x$；有零向量满足$0+x=x$；有负向量$-x$满足$-x+x=0$。八条性质(包括这三条)是基本要求；(这里没有列出其余五条，大家可以上网查找或给博主留言)实向量空间就是满足向量加法和实数乘法的向量集合，加法和乘法得到的向量肯定还在空间内，并且还得满足八个条件。

一般情况我们讨论的向量都是属于空间$R^n$的；他们是普通的列向量。如果$x=(1,0,0,3)$，那么$2x(x+x)$的元素就是2,0,0,6。下面我们给出是三个例子：

1. 无限维空间$R^{\infty}$，它的向量有无限多个元素，就像$x=(1,2,1,2,\ldots)$，$x+y,cx$法则依然成立。
2. $3\times 2$矩阵的空间，这种情况下向量就是矩阵！我们能够将两个矩阵相加并且$A+B=B+A$，存在零矩阵等等，这个空间几乎和$R^6$一样。(六个元素组织在矩阵里而不是一列)对于任何$m,n$，类似的将得到$m\times n$矩阵的向量空间。
3. 函数$f(x)$空间，对于任何定义在闭区间上例如$0\leq x\leq 1$的函数$f$，都属于该空间。像$f(x)=x^2,g(x)=\sin x,(f+g)(x)=x^2+\sin x,3x^2,-\sin x$等等，这些向量是函数，它的维数比$R^\infty$还要大

我们想描述向量空间并解释为什么他们如此重要。几何上，考虑常见的三维$R^3$并任意选择一个通过原点的平面，那个平面是一个向量空间，如果我们用3 或-3或任何一个数乘以平面里的一个向量，得到的向量依然在这个平面内。如果我们将平面内的两个向量相加，他们的和依然在平面内，平面通过$(0,0,0)$说明了线性代数最基本想法中的一个；它是原空间$R^3$的子空间。

定义：向量空间的子空间是非空子集，它满足线性空间的要求：线性组合。

1. 如果将子空间里的任意向量$x,y$相加，$x+y$在子空间内。
2. 如果将子空间里的任意向量$x$和任意标量$c$相乘，$cx$在子空间内。

注意我们强调空间这个词，子空间是一个子集，它对加法和标量乘法封闭。这些操作跟随主空间的规则，在子空间内部依然保持，八条性质更大的空间都是满足的，因此在每个子空间里自动满足。特别需要注意的是零向量属于每一个子空间，因为根据第二条性质：我们选择标量$c=0$。

最小的子空间$Z$只包含一个向量，那就是零向量，它是零维空间只包含原点，对规则1,2都满足，因为$0+0$在这个空间里，所有$c0$也在这个空间里，最小空间不能为空所以这既是最小的向量空间。另一个极端情况是，最大的子空间是原始空间，如果原空间是$R^3$，那么可能的子空间为：$R^3$本身，任何通过原点的平面，任何通过原点的线或单独一个原点(零向量)。

子空间和子集合是有区别的，在没有空间的前提下能够进行向量加法和标量乘法吗？

例1：考虑$R^2$中的所有元素为非负的向量，这个子集合是$x-y$平面的第一象限；坐标满足$x\geq 0,y\geq0$。但它不是一个子空间，虽然它包含零并且向量加法都在空间内，但是法则2不满足，因为如果标量-1乘以向量$[1,1]$的话，结果为$[-1,-1]$，它在第三象限而不是第一象限。

如果我们包含一三象限，那么标量乘法也满足。然而，法则1 将不满足，因为$[1,2]+[-2,-1]=[-1,1]$不在这两个象限内。包含第一象限最小的子空间是整个$R^2$空间。

例2：从$3\times 3$矩阵空间开始，一个可能的子空间是下三角矩阵的集合，另一个是对称矩阵的集合，如果$A,B$是下三角矩阵，那么$A+B,cA$是下三角矩阵，如果$A,B$是对称矩阵，那么$A+B,cA$是对称矩阵。当然，子矩阵都在这两个子空间里。

矩阵的列空间

现在我们看一个比较关键的例子，矩阵$A$的列空间和零空间。列空间包含矩阵$A$列的所有线性组合，它是$R^3$的子空间，我们用一个$m=3,n=2$的系统来说明：

$$\begin{equation} \begin{bmatrix} 1&0\\5&4\\2&4 \end{bmatrix} \begin{bmatrix} u\\v \end{bmatrix}= \begin{bmatrix} b_1\\b_2\\b_3 \end{bmatrix}\tag1 \end{equation}$$

当$m>n$时我们的方程个数比未知量要多(通常情况下这没有解)，这个系统只对一小部分$b$有解。

1、对于$Ax=b$，当且仅当$b$可以表示为$A$列的线性组合是它才有解，此时$b$在其列空间里。

这段描述只是从列的角度重述了$Ax=b$：

$$\begin{equation} u \begin{bmatrix} 1\\5\\2 \end{bmatrix} +v \begin{bmatrix} 0\\4\\4 \end{bmatrix}= \begin{bmatrix} b_1\\b_2\\b_3 \end{bmatrix} \end{equation}$$

注意问题是：找出$u,v$使得他们乘以第一和第二列得到$b$，当这样的系数存在时该系统才有解，向量$(u,v)$就是解$x$。

我们有效的$b$是$A$列的线性组合，一种可能是第一列，此时$u=1,v=0$，另一种可能是第二列，此时$u=0,v=1$，第三种可能是$b=0$，此时$u=0,v=0$。

我们可以从几何上描述列的所有线性组合：对于$Ax=b$，当且仅当$b$位于两个列向量确定的平面上(图1)时它是有解的。如果$b$ 位于平面外，那么就不在两列的组合，也就是$Ax=b$无解。

重要的是，这个平面不仅仅是$R^3$的子集合，它还是一个子空间。我们用$C(A)$表示，$R^m$的子空间很容易检查是否满足规则1和2：

1. 列假设$b,b'$位于列空间上，也就是存在$x,x'$使得$Ax=b,Ax'=b'$，那么$A(x+x')=b+b'$，所以$b+b'$也是列的线性组合，所以列空间对加法是封闭的。
2. 如果$b$在列空间$C(A)$里，那么$cb$也在里面。如果某个列的组合($Ax=b$)得到$b$，那么组合乘以$c$将得到$cb$，也就是说$A(cx)=cb$。
   
   
   图1
   
   对于另一个矩阵$A$，图1中的维数可能不同，最小的列空间是$A=0$，唯一的列组合是$b=0$。另一个极端的例子是，假设$A$是$5\times 5$单位矩阵，那么$C(I)$就是整个$R^5$空间；$I$的五个列空间可以组合出任何五维向量$b$，这不是单位矩阵特有的，任何$5\times 5$的非奇异矩阵它的列空间都是整个$R^5$空间，对于这样的矩阵我们可以用高斯消元法求解$Ax=b$；有五个主元，因此对每个非奇异矩阵，$b$都位于$C(A)$中。

对于奇异矩阵和任何形状的长方形矩阵，$C(A)$是位于零空间和$R^m$空间之间的，结合它的垂直空间我们能够更好的理解$Ax=b$。

零空间

$Ax=b$的第二个方法与第一个是对偶的，我们现在不仅关注右边的$b$，也关注一下得到的解$x$。当右边为0时，肯定存在解$x=0$，但是有可能有许多其他解。(如果未知数个数大于方程个数，那么一定存在非零解)$Ax=0$的解形成了一个向量空间-$A$的零空间。

矩阵的零空间由所有$Ax=0$的向量$x$组成，用$N(A)$表示，它是$R^n$的子集合，就像列空间是$R^m$子集合一样。

规则1满足：如果$Ax=0，Ax'=0$，那么$A(x+x')=0$。规则2也满足：如果$Ax=0$，那么$A(cx)=0$。如果右边非零的话，规则就都不满足！只有齐次方程的解形成了子空间。上面的例子很容易求出零空间；它尽可能的小：

$$\begin{bmatrix} 1&0\\5&4\\2&4 \end{bmatrix} \begin{bmatrix} u\\v \end{bmatrix}= \begin{bmatrix} 0\\0\\0 \end{bmatrix}$$

第一个方程给出$u=0$，第二个给出$v=0$，零空间只包含向量$(0,0)$，这个矩阵列是相互独立的——这个概念不久就给出。

当第三列是前两列的组合式，情况就发生了变化：

$$B= \begin{bmatrix} 1&0&1\\5&4&9\\2&4&6 \end{bmatrix}$$

$B$和$A$有同样的列数，从图1可以看出新的列位于平面内；它是前两个向量之和。但是$B$的零空间包含向量$(1,1,-1)$，所以自动包含任何乘数对应的$(c,c,c)$：

$$\begin{bmatrix} 1&0&1\\5&4&9\\2&4&6 \end{bmatrix} \begin{bmatrix} c&c&-c \end{bmatrix} =\begin{bmatrix} 0\\0\\0 \end{bmatrix}$$

$B$的零空间是所有点$x=c,y=c,z=-c$组成的线(这条线通过原点，就像任何子空间必须满足的那样)，对于$Ax=b$，我们能够求出$C(A),N(A)$：所有有效的$b$和$Ax=0$的解。

向量$b$在列空间里，向量$x$在零空间里，我们将计算这些子空间的维度以及生成他们的向量集合。我希望最后大家能够理解四个和 A <script type="math/tex" id="MathJax-Element-155">A</script>相关的子空间——列空间，零空间以及与他们两个垂直的空间。