说文解字----矩阵分析（一）矩阵中的空间与秩

，近期学习了矩阵分析，在接下来的几篇文章中将进行总结。由于理解能力有限，我将更倾向于对矩阵的直观理解。水平有限，诸多错误恳请大家批评

一、空间和子空间（space & subspace）

首先来一点高大上的定义：

设$V$是一个非空集合，在$V$的元素中规定了“加法”运算，在实数域$R$和$V$的元素中规定了称之 为“数乘”的运算，若V对这两种运算封闭，即对任意$\alpha$和$\beta$ $\in V$都有$\alpha + \beta \in V$,以及对任何$k \in R$和$\alpha \in V$都有$k \alpha \in V$,且这两种运算满足八条运算律：
1. $\alpha + \beta = \beta + \alpha$
2. $(\alpha + \beta) + \gamma=\alpha +( \beta + \gamma)$
3. 对$V$中的存在零元素$\theta$，对任意$\alpha \in V$都有$\alpha + \theta = \alpha$
4. 对任何$\alpha \in V$,都有的复元素$\beta \in V$ 使得$\alpha + \beta =\theta$
5. $1 \alpha = \alpha$
6. $k(l \alpha)= (kl) \alpha$
7. $(k+l)\alpha = k \alpha + l \alpha$
8. $k(\alpha +\beta)=k\alpha +k \beta$
（西北工业大学：线性代数）

但看这些定义可能比较适合我们做些判断题，但是对于直观理解来说，似乎有点牵强了点。引述孟老师（http://blog.csdn.net/myan/article/details/649018）来说，就是数学倾向于强调严密性而忽略直观性。但是个人以为这种直观性的忽略并不太利于我们发散思维举一反三，所以在正统教材之外，应该有点野史发散一下思维也好。我们从分析上面的定义开始，个人理解所谓空间是一类集合的统称，这个集合的元素对加法和乘法封闭，也就是你在这个集合里面加或者乘，所得的结果仍然属于这个集合。举个例子，我们所熟悉的二维平面就是一个线性空间，二维平面内有众多的二维向量，所有这些向量的组合构成了我们的二维平面（空间）。我们可以想象，从这个平面里面任意挑出若干元素加或者乘，所得的结果肯定依旧在这个平面内。这样，我们可以从低维的角度较直观的考虑这个问题。

那么什么是子空间？（囧 刚才写了一大堆，因为网络问题给我当掉了，崩溃）
假设$W$是前面提到的线性空间$V$中的一个非空子集，如果 $W$对于$V$ 中定义的加法和乘法也构成线性空间，那么就成 $W$是$V$的线性子空间。我们举一个例子：矩阵
$R$=

$$\left[ \begin{matrix} 0 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 0 \end{matrix} \right]$$
矩阵的三个列向量 $\left[ \begin{array}\\ 0 \\ 0 \\ 1 \end{array} \right]$ ,$\left[ \begin{array}\\ 0 \\ 1 \\ 0\end{array} \right]$, $\left[ \begin{array}\\ 1 \\ 0 \\ 0 \end{array} \right]$相互正交，他们构成了一个三维的向量空间。那么如果我们取矩阵
$R_{1}$=

$$\left[ \begin{matrix} 0 & 0 \\ 0 & 1 \\ 1 & 0 \end{matrix} \right]$$
这两个三维空间中的向量只能构成一个二维的平面（二维向量空间），因此这个空间就是三维向量空间的一个子空间。他的维数为二。我们上面的矩阵都是相互正交的，考虑这种矩阵
$R_{2}$=
$$\left[ \begin{matrix} 0 & 0 & 0 \\ 0 & 1 & 1 \\ 1 & 0 & 1 \end{matrix} \right]$$
这是个几维空间呢？我们注意到 $R_{2}$的第三个列向量可以由前两个线性表示，也即，第三个列向量位于前两个列向量所构成的二维平面上！这就是说第三个列向量已经可以由前两个代表了，他对于扩张空间的维数就不起作用了，所以矩阵 $R_{2}$依然只能构成一个二维子空间。这里称子空间是因为他本来能够成一个三维空间的。我们也注意到矩阵 $R_{2}$只有两个线性独立的列，严肃的说他是不满秩矩阵，线性系统 $R_{2}^{T} x=0$有非零解——我们可以更一般的形容这句话，在一个三维空间里面，都是些三维的向量，我们可以找到一些向量（非零向量），让他们和我们的 $R_{2}$中的三个列向量都垂直，这是完全可能的，垂直于前两个向量构成的平面就可以了。那么对于 $R$呢，显然我们在三维空间里找不到这么一个三维向量垂直于三个方向迥异的向量，除非这个三维向量为零（只有零解）。这样我们可以吧独立向量的个数，满秩与否，有无非零解等等联系起来，不再孤立的看待每一个问题。

二、张成，列空间，零空间（span ,range space,null space）
向量$a_{1},a_{2},.....a_{n}$(如无特别说明，所提到的向量都为列向量)张成的子空间是这些向量的所有线性组合，用 $span \{ a_{1}.......a_{n} \}$表示，也即：

$$span \{ y \in R^{m} | y =\sum_{i=1}^nc_{i}a_{i},c_{i} \in R\} (1)$$ .
我们继续介绍列空间的概念：对于一个给定的 $A \in R^{m \times n}$ 的矩阵，他的列空间为：
$$R(A)= \{Y \in R^{m} | y = Ax,x \in R^{n}\} (2)$$ 如果我们把公式（1）和（2）结合起来看，很容易得到：（1）=（2），i.e. $R(A)=span \{a_{1}........a_{n} \}$

为了直观简单和偷懒，我们还是习惯的从低维的角度上考虑这个问题（我的思维水平最高也就能顶到三维了），我们假设
A=R

$$\left[ \begin{matrix} 0 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 0 \end{matrix} \right]$$
那么他们三个列向量的线性组合（也就是y）不就正好能够表示三维空间么（在这里他是三维空间的笛卡尔坐标系）,这也就是说所有的组合（y | y=Ax）构成了一个三维空间。举这个例子好像有点偷懒的嫌疑，但大概能把列空间和我们刚才讲的线性空间联系起来，说明他们其实都是一个东西。那如果……我把A搞成这个样子呢？
$A_{1}$=
$$\left[ \begin{matrix} 0 & 0 & 1 &1&2&3 \\ 0 & 1 & 0 &4&5&6\\ 1 & 0 & 0 & 7&8&9 \end{matrix} \right]$$
那么此时 $x \in R^{n},n=6$,我们说，这个矩阵的后三个向量可以由前三个线性表示，这个矩阵也就只能表示三维的空间（后三个向量不能对扩张空间维数起作用），那么他的列空间也还是和 $A$一样的三维空间。

下面介绍零空间（Null space ）或称核的概念
对于一个给定的$A \in R^{m \times n}$ 的矩阵，他的零空间为：

$$N(A)= \{ x \in R^n | Ax=0 \}$$
A的零空间是什么？是一个这样的x,他把A中的列向量组合起来，让他们的和为零！就拿我们刚才的A为例，什么样的x具有这样的能力，让他们三个组合为零呢？很显然，这就只有零向量了，因为他们三个相互独立，你怎么都不能把两个的组合搞的跟第三个向量共线。但是如果他们不满秩，就像第一章中的 $R_2$一样呢？这样我们就有很多x可以选了，所以这从另外一个角度告诉我们零空间也是齐次方程组的解空间，只有A不满秩的时候，我们才有这样的x. 接下来继续介绍 正交互补空间（Orthogonal Complement subspace）
$$S_{\bot} = \{ x \in R^m | y^Tx=0 \ for \ all \ x \in S \}$$
直观地说，正交互补空间是与原空间垂直的那个空间，想象一下我们刚才得到的一个二维平面，他的正交互补空间就是和他垂直的一些个空间。了解这个概念之后，我们推出一个结论： $R(A)_{\bot}=N(A^{T})$,这个怎么理解呢？结合我们之前的讨论，假设，我们的 $R（R_2）$是我们刚才得到一个二维的平面，那么他的正交互补平面是和他垂直的平面构成的空间。然而对于 $R_2^{T}x=0$（注意！我们这里已经把 $R_2$变成了转置）来说，所求的x不正是和 $R_{2}$的所有列向量都垂直的那些向量吗，如果 $R_2$是满秩的，那么和他的所有列向量垂直的向量只能为零向量——我又回来了！所以他们本质上就是一个东西！

然后介绍下维数：
第一个: $dim(R(A))=rank(A)$
为什么？看上面，A中有多少个相互独立的列向量，就能构成多少维的空间
第二个：$dim(R(A))+dim(N(A))=n$
这里，dim(R(A))叫做解空间的维数或者零度。在这里总结一下，所谓的零空间（nullspace）就是AX=b对应的齐次方程AX=0的全部解构成的空间。这个空间和行空间一起组成了矩阵A**本来能够表示的最大的空间**。