矩阵空间理解

最近学习了矩阵的空间，以及各个空间的关系，为了以后查阅方便，便做个笔记，有错误的地方请大家指正一下。

数学符号

符号	意义
$\mathbb{R}^n$	n维实空间
$\mathbb{R}^{m\times n}$	mxn的实矩阵集合
$T$	转置
$det(A)$	行列式
$C(A)$	列空间
$N(A)$	零空间
$A^{-1}$	逆
$diag(a)$	将向量转化为对角矩阵
$Tr$	迹
$rank$	秩

重新看待矩阵和$\mathrm{Ax=b}$

$$\begin{matrix} \underbrace{ \begin{bmatrix} 2 & -1 \\ 1 & 1 \end{bmatrix} } \\A \in\mathbb{R}^{2\times 2} \end{matrix} \begin{matrix} \underbrace{ \begin{bmatrix} x \\ y \end{bmatrix} }\\x \in\mathbb{R}^{2}\end{matrix} = \begin{matrix} \underbrace{ \begin{bmatrix} 1 \\ 5 \end{bmatrix} }\\b \in\mathbb{R}^{2}\end{matrix} \tag{1}$$

$\mathrm{Ax=b}$的行视图

行视图：凸优化中的超平面

$$2x-y =1 \\ x+y =5 \tag{2}$$
可以将(2)理解为两个直线相交与一点

$$2u+v+w =5 \\ 4v-6v =-2 \\ -2u+7v+2w =5 \tag{3}$$
可以将(3)理解为三个平面相交与一点：

$\mathrm{Ax=b}$的列视图

列视图：矩阵列的线性组合。
(2)可以理解为以下形式：

$$x\begin{bmatrix} 2 \\ 1 \end{bmatrix} +y\begin{bmatrix} -1 \\ 1 \end{bmatrix} = \begin{bmatrix} 1 \\ 5 \end{bmatrix} \tag{4}$$
(3)可以理解为以下形式：
$$u\begin{bmatrix} 2 \\ 4 \\ -2 \end{bmatrix} +v\begin{bmatrix} 1 \\ -6 \\ 7 \end{bmatrix} +w\begin{bmatrix} 1 \\ 0 \\ 2 \end{bmatrix} = \begin{bmatrix} 5 \\ -2 \\ 9 \end{bmatrix} \tag{5}$$
(4)与(5)可以理解为向量相加得到向量，我们将（4）用图(3),(5)用图(4)示意：
图(3)如下：

图(4)如下：

线性相关与线性无关

线性相关：矢量集[$a_1,a_2,\cdots,a_n$]是线性相关的，如果$\sum_{k=1}^nc_ka_k =0$，当且仅当$c_1,c_2,\cdots,c_n\ne0$。即，至少有一个向量，$a_l$可以由其他向量线性表出：

$$a_l = -\frac{1}{c_l}\sum_{k=1,k\ne l}^nc_ka_k \tag{5}$$
线性无关：矢量集[ $a_1,a_2,\cdots,a_n$]是线性无关的（即不是线性相关的），如果 $\sum_{k=1}^nc_ka_k =0$，当且仅当 $c_1,c_2,\cdots,c_n=0$。

思考：对于线性相关的理解可以参考图(3)理解；将$\begin{bmatrix}2 \\ 1\end{bmatrix}$ 设置为$a_1$，$x$ 设置为$c_1$，$\begin{bmatrix} -1 \\ 1\end{bmatrix}$ 设置为$a_2$，$y$ 设置为$c_2$,$\begin{bmatrix} 1 \\ 5\end{bmatrix}$ 设置为$a_3$；那么(4)可以改写为$c_1a_1+c_2a_2 = a_3$；通过图(3)可以展示他们的关系，知道[a_1,a_2,a_3]是线性相关的。图4也可以这样理解。

性质：定义$A = \begin{bmatrix}a_1,a_2,\cdots,a_n \end{bmatrix}$，则$\mathrm{Ax=0}$只有$\mathrm{x=0}$，没有其他线性组合能产生$\mathrm{0}$（即$A$线性无关的），此时矩阵$A$是可逆的。

Span、基和子空间(Subspace)

Span：生成子空间

$$span = \begin{bmatrix}a_1,a_2,\cdots,a_n \end{bmatrix} = \begin{Bmatrix} \mathrm{y} \in \mathbb{R^m} | \mathrm{y} = \sum_{n=1}^nc_k\mathrm{a}_k \end{Bmatrix} =S$$

---

• $A=\begin{bmatrix}a_1,a_2,\cdots,a_n \end{bmatrix}$的所有线性组合。此时，如果$\begin{bmatrix}a_1,a_2,\cdots,a_n \end{bmatrix}$是线性无关的，则他们是$S$的一组基。正交基满足条件是$\mathrm{a}_i^T\mathrm{a}_j=0$；也可以理解为向量$a_i$与向量$a_j$夹角是90度。

• $S$可以有不同的一组基，但是基向量的的个数是相同的，被称为$S$的维数，等于$rank(A)$。一个子空间用一组基就可以表示了。

• 例子：
  

  $A=\begin{bmatrix} 1 & 2 & 3 \\ 0 & 3 & 3 \\ 0 & 0 & 0 \end{bmatrix}$，则 $S=span\begin{bmatrix} \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix} ,\begin{bmatrix} 2 \\ 3 \\ 0 \end{bmatrix} \end{bmatrix}$ 是 $\mathbb{R}^3$的子空间，同时 $S$还具有其他基。

四个基本的子空间

（1）列空间：$C(A)$是 $\mathbb{R}^m$ (not $\mathbb{R}^n$) 的子空间。

• 
  
• 定义：包含所有列的线性组合，即$C(A) =\begin{Bmatrix} \mathrm{y}=\mathrm{A} \mathrm{x},\mathrm{x} \in \mathbb{R}^n \end{Bmatrix}$
  

$A =\begin{bmatrix} 1 & 0\\ 4 &3 \\ 2 & 3 \end{bmatrix}$，$C(A) = span\begin{bmatrix} \begin{bmatrix} 1 \\ 4 \\ 2 \end{bmatrix} ,\begin{bmatrix} 0 \\ 3 \\ 3 \end{bmatrix} \end{bmatrix}$，构成一个$\mathbb{R}^3$的子空间。

如图5

---

（2） 零空间：$N(A)$是$\mathbb{R}^n$ (not $\mathbb{R}^m$) 的子空间。

• 
  
• 定义：$N(A)$包含$A\mathrm{x} =0$的所有解的集合。
• 注意：$A\mathrm{x} =\mathrm{b}$的解并不形成一个子空间。
• 例子：求$A$的零空间的基
  

$A=\begin{bmatrix} 1 & 2 & 2 & 4 \\ 3 & 8 & 6 & 16 \end{bmatrix} \to U = \begin{bmatrix} 1 & 2 & 2 & 4 \\ 0 & 2 & 0 & 4 \end{bmatrix}$ 经过初等变化
即$U\mathrm{x}=0$，于是有$s_1=\begin{bmatrix} 0 \\ -2 \\ 0 \\ 1 \end{bmatrix}$，$s_2=\begin{bmatrix} -2 \\ 0 \\ 1 \\ 0 \end{bmatrix}$；
因此$N(A) =C\begin{pmatrix} \begin{bmatrix} 0 \\ -2 \\ 0 \\ 1 \end{bmatrix},\begin{bmatrix} -2 \\ 0 \\ 1 \\ 0 \end{bmatrix}\end{pmatrix}$，是$\mathbb{R}^4$ 的子空间。

---

（2） 行空间：$N(A)$是$\mathbb{R}^n$ (not $\mathbb{R}^m$) 的子空间。

待续。。。