矩阵论——矩阵空间

之前碰到的所有向量空间，都是 $n$ 维的实数空间，现在我们将矩阵当成向量，比如说将 $3\times 3$ 的矩阵看作向量，这相当于从原来的 $n$ 维为扩展到 $n\times n$ 维，那么明明是矩阵为什么可以看成是向量呢？因为矩阵也服从向量空间的运算，向量能相加，矩阵也能相加；向量能数乘，矩阵也可以数乘；向量可以线性组合，矩阵也可以线性组合。所以说矩阵也可以当成向量来生成空间，这个空间就是矩阵空间。

1. 矩阵空间的基

假设所有 $3\times 3$ 的矩阵组成的空间，我们记为矩阵空间 $M$ ，则矩阵空间 $M$ 的一组基为

矩阵空间 $R^{3\times 3}$ 内的任一向量可以表示为
$$\mathbf{A}=(a_{ij}{)}_{3\times 3}=\sum _{i,j=1}^3{a}_{ij}{\mathbf{E}}_{ij}$$

由于 ${\mathbf{E}}_{ij}(i,j=1,2,\cdots ,n)$ 线性无关，则矩阵空间 $M$ 的维数为 $dimM=3\times 3=9$ 。

2. 矩阵空间的子空间

比如说所有 $3\times 3$ 的矩阵组成的空间，我们记为矩阵空间 $M$ ，那么 $M$ 的子空间有：

1. 所有上三角矩阵（upper triangular matrix）组成的空间 $U$ ；
2. 所有的对称矩阵（symmetric matrix）组成的空间 $S$ ；
3. 所有的对角矩阵（diagonal matrix）组成的空间 $D$ （对角矩阵是上三角阵和对称阵的交集）。

因为两个上三角阵相加还是上三角阵，两个对称阵相加还是对称阵，两个对角阵相加还是对角阵。

$M$ 空间的维数是9，9个基分别为：

$S$ 空间的维数是6，6个基分别为：

$U$ 空间的维数也是6，基分别为：

通过将 $U$ 和 $S$ 进行组合，我们还可以得到其他子空间：

交：对称阵空间 $S$ 和上三角阵空间 $U$ 的交集 $S\cap U$ 得到的对角阵空间 $D$ ，其维数是3维；

和：对称阵空间 $S$ 和上三角阵空间 $U$ 的和集 $S+U$ 可以得到所有3*3矩阵，因此这个S+U构成的空间维度是9。

注意：并集组成的集合不是子空间！！！

这里我们可以发现 $dim(S)+dim(U)=dim(S\cap U)+dim(S+U)$，即 $S$ 的维度加上 $U$ 的维度等于它们交的维度加上它们和的维度。

2. 矩阵的值域（列空间）

定义：设 $\mathbf{A}=(a_{ij})\in {\mathbf{R}}^{m\times n}$ ，以 ${\mathbf{a}}_i(i=1,2,\cdots ,n)$ 表示 $\mathbf{A}$ 的第 $i$ 个列向量，称子空间 $L({\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n)$ 为 矩阵 $\mathbf{A}$ 的值域（列空间），记为
$$R(\mathbf{A})=L({\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n)$$

$R(\mathbf{A})$ 还可以这样生成：令 $\mathbf{x}={\left({\xi }_1,{\xi }_1,\cdots ,{\xi }_n\right)}^T\in {\mathbf{R}}^n$ ，则
$$\mathbf{A}\mathbf{x}=({\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n){\left({\xi }_1,{\xi }_2,\cdots ,{\xi }_n\right)}^T={\xi }_1{\mathbf{a}}_1+{\xi }_2{\mathbf{a}}_2+\cdots +{\xi }_n{\mathbf{a}}_n$$

这表明 $\mathbf{A}\mathbf{x}$ 为 $\mathbf{A}$ 的列向量组的线性组合。反之，若 $\mathbf{y}$ 为 $\mathbf{A}$ 的列向量组的线性组合，即
$$\mathbf{y}={\xi }_1{\mathbf{a}}_1+{\xi }_2{\mathbf{a}}_2+\cdots +{\xi }_n{\mathbf{a}}_n=\mathbf{A}\mathbf{x}$$

可见，所有乘积 $\mathbf{A}\mathbf{x}$ 之集合 { A x   ∣   x ∈ R n } \left \{ \boldsymbol{A}\boldsymbol{x}\: |\: \boldsymbol{x}\in \boldsymbol{R}^{n} \right \} {Ax∣x∈Rn} 与 $\mathbf{A}$ 的列向量组的线性组合的集合 $L({\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n)$ 相同，从而有
R ( A ) = { A x   ∣   x ∈ R n } R(\boldsymbol{A})=\left \{ \boldsymbol{A}\boldsymbol{x}\: |\: \boldsymbol{x}\in \boldsymbol{R}^{n} \right \} R(A)={Ax∣x∈Rn}

同样可以定义 ${\mathbf{A}}^T$ 的值域（行空间）为：
$$R({\mathbf{A}}^T)=\left\{{\mathbf{A}}^T\mathbf{x}|\mathbf{x}\in {\mathbf{R}}^m\right\}\subset {\mathbf{R}}^n$$

且 $rank\mathbf{A}=dimR(\mathbf{A})=dimR({\mathbf{A}}^T)$ 。

---

矩阵的列空间与线性方程组的联系 ：

线性方程组
$$\mathbf{A}\mathbf{x}=\mathbf{b}$$

其中，$\mathbf{A}\in {\mathbf{R}}^{m\times n}$ ，$\mathbf{x}\in {\mathbf{R}}^n$ ，$\mathbf{b}\in {\mathbf{R}}^m$ 。我们想要知道方程组何时有解。

我们可以把矩阵 $\mathbf{A}$ 拆成一系列列向量的组合，$\mathbf{A}=({\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n)$ ，同样，$\mathbf{x}=(x_1,x_2,\cdots ,x_n)$ ，那么上面的方程组可以表示为：
$$\mathbf{A}\mathbf{x}=x_1{\mathbf{a}}_1+x_2{\mathbf{a}}_2+\cdots +x_n{\mathbf{a}}_n$$

所以说，矩阵和列向量的相乘，就相当于矩阵的列向量的一个线性组合。这和矩阵的列空间的定义是相同的。也就是说，如果我们希望 $\mathbf{A}\mathbf{x}=\mathbf{b}$ 有解，也就是说向量 $\mathbf{b}$ 应该存在于该子空间内。

例如：
假设 $\mathbf{A}=\left[\begin{array}{ccc}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}\right]$ ，则矩阵 $\mathbf{A}$ 的列空间 $R(\mathbf{A})$ 是 ${\mathbf{R}}^4$ 的子空间，$R(\mathbf{A})$ 中的元素是矩阵 $R(\mathbf{A})$ 中列的线性组合。首先 $\mathbf{A}\mathbf{x}=\mathbf{b}$ 不是对所有的 $\mathbf{b}$ 均有解，因为三个向量的组合不可能覆盖整个四维空间。当且仅当向量 $\mathbf{b}$ 是矩阵 $R(\mathbf{A})$ 中列的线性组合时方程组才有解。

3. 矩阵的核空间（零空间）

定义：设 $\mathbf{A}=(a_{ij})\in {\mathbf{R}}^{m\times n}$ ，称集合 { x   ∣   A x = 0 } \left \{ \boldsymbol{x}\: |\: \boldsymbol{A}\boldsymbol{x}= \boldsymbol{0} \right \} {x∣Ax=0} 为 $\mathbf{A}$ 的核空间（零空间），记为 $N(\mathbf{A})$ ，即
N ( A ) = { x   ∣   A x = 0 } N(\boldsymbol{A})=\left \{ \boldsymbol{x}\: |\: \boldsymbol{A}\boldsymbol{x}= \boldsymbol{0} \right \} N(A)={x∣Ax=0}

显见 $N(\mathbf{A})$ 是齐次线性方程组 $\mathbf{A}\mathbf{x}=0$ 的解空间，它是 ${\mathbf{R}}^n$ 的一个子空间。$\mathbf{A}$ 的核空间的维数称为 $\mathbf{A}$ 的 零度，记为 $n(\mathbf{A})$ ，即

$$n(\mathbf{A})=dimN(\mathbf{A})$$

---

矩阵的零空间与线性方程组的联系 ：

零空间是跟列空间完全不同的子空间，$\mathbf{A}$ 的列空间关心的是什么样的 $\mathbf{b}$ 使得 $\mathbf{A}\mathbf{x}=\mathbf{b}$有解，而 $\mathbf{A}$ 的零空间则关心的是当 $\mathbf{b}$ 为零向量，即 $$\mathbf{A}\mathbf{x}=0$$ 时所有的解 $\mathbf{x}$；其中，$\mathbf{A}\in {\mathbf{R}}^{m\times n}$ ，$\mathbf{x}\in {\mathbf{R}}^n$ ，$0\in {\mathbf{R}}^m$ ，是个向量 。也就是说，列空间关心的是 $\mathbf{b}$ ，而零空间关心的是 $\mathbf{b}=0$ 时的所有解向量 $\mathbf{x}$ 。

矩阵的零空间就是使得 $\mathbf{A}\mathbf{x}=0$ 的所有解向量 $\mathbf{x}$ 所构成的一个集合，这个零空间同时也是 ${\mathbf{R}}^n$ 里的一个子空间。

例如：
假设 $\mathbf{A}=\left[\begin{array}{ccc}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}\right]$ ，其零空间是什么？首先可以肯定的是它是 ${\mathbf{R}}^3$ 的一个子空间，注意到刚才的列空间是 ${\mathbf{R}}^4$ 的子空间，不管矩阵 $\mathbf{A}$ 是多少，其零空间 $N(\mathbf{A})$ 一定包含零向量 $\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]$ 。此例中，易得到其他的解向量 $\mathbf{x}$ 为 $\left[\begin{array}{c}1\\ 1\\ -1\end{array}\right]$ ，推广一下可得所有形如 $c\left[\begin{array}{c}1\\ 1\\ -1\end{array}\right]$ 的向量都在 $\mathbf{A}$ 的零空间里，这个零空间是 ${\mathbf{R}}^3$ 中的一条两端延伸且过原点的直线。

---

关于解是否能构成向量空间

零空间是向量空间吗？很显然是的，因为假设 $\mathbf{b}=0$ 时方程组有两个解 ${\mathbf{x}}_1$ 和 ${\mathbf{x}}_2$ ，那么它们的线性组合仍然是方程组的解，即 $\mathbf{A}{\mathbf{x}}_1=0$ ，$\mathbf{A}{\mathbf{x}}_2=0$ ，那么 $\mathbf{A}(c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2)=0$ ，所以 $\mathbf{A}\mathbf{x}=0$ 的解构成一个子空间。

我们看一下 $\mathbf{b}$ 不等于 $0$ 的情况，假设现有 $\left[\begin{array}{ccc}1& 1& 2\\ 2& 1& 3\\ 3& 1& 4\\ 4& 1& 5\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}1\\ 2\\ 3\\ 4\end{array}\right]$ ，如果随便取 $\mathbf{b}$ ，很有可能方程无解，但这里给出的 $\mathbf{b}$ 很简单，有些解一下子就能看出来，但我们不关心那些解是什么，我们关心的是这些解构成向量空间吗？假设 ${\mathbf{x}}_1$ 和 ${\mathbf{x}}_2$ 是两个解，很显然 $c_1{\mathbf{x}}_1+c_2{\mathbf{x}}_2$ 不再是方程的解，因此当 $\mathbf{b}$ 不等于 $0$ 时，这些解就不构成向量空间了；或者我们通过零向量也可看出这些解不构成向量空间，在前面我们说所有的向量空间都必须包含零向量，不包含零向量的肯定不是向量空间，这里当 $\mathbf{x}=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]$ 时显然不能满足方程，因此这些解不构成向量空间。

参见：

1. https://blog.csdn.net/xdfyoga1/article/details/36180861
2. https://blog.csdn.net/xdfyoga1/article/details/37312451

---