子空间回顾
向量空间指的是在线性组合下是封闭的一组向量:向量空间中的任意两个向量\(\boldsymbol v\)和\(\boldsymbol w\),在任取两个实数\(c\)和\(d\)的情况下,\(c\boldsymbol v\times d\boldsymbol w\)同样在该向量空间中。
假设平面\(P\)和直线\(L\)均经过原点\(\begin{bmatrix} 0 \\ 0 \\ 0 \end{bmatrix}\),则\(P\)和\(L\)均是\(\mathbb{R}^3\)的子空间。两者的并集\(P\cup L\)通常不是子空间,因为\(P\)中的向量和\(L\)中的向量可能并不在\(P\cup L\)中。而两个子空间\(S\)和\(T\)的并集\(S\cap T\)也是子空间,根据\(S\)和\(T\)在线性组合下是封闭的,很容易证明。
\(A\)的列空间
矩阵\(A\)的列空间(column space)是\(A\)的列向量所有不同的线性组合得到的向量空间。
解\(A\boldsymbol x=\boldsymbol b\)
给定一个矩阵\(A\),\(\boldsymbol{b}\)取什么值时,存在解\(\boldsymbol{x}\)。
\[ \text{Let }A= \begin{bmatrix} 1 & 1 & 2\\ 2 & 1 & 3\\ 3 & 1 & 4\\ 4 & 1 & 5 \end{bmatrix} \]
\(A\boldsymbol{x}=\boldsymbol{b}\)不可能对每个\(\boldsymbol{b}\)都存在解,假设存在解\(\boldsymbol{x}\),则\(\boldsymbol{b}\)必须是\(A\)的列向量的线性组合,仅仅3个列通过线性组合无法填充满整个四维向量空间,因此肯定存在某些向量\(\boldsymbol{b}\)无法通过\(A\)的列向量线性组合得到。
问题:什么样的\(\boldsymbol{b'}\)使得\(A\boldsymbol{x}=\boldsymbol{b}\)有解?
一个有用的方法是:直接选择不同的\(\boldsymbol{x}\)得到\(\boldsymbol{b}=A\boldsymbol{x}\)。当\(\boldsymbol{b}\)是\(A\)的列空间中的向量时,等式\(A\boldsymbol{x}=\boldsymbol{b}\)存在解。
上面的矩阵\(A\)中,第3列是前2列之和,对子空间的构建没有作用,\(A\)的列空间是\(\mathbb{R}^4\)中的二维子空间。
\(A\)的零空间
矩阵\(A\)的零空间(nullspace)是所有满足\(A\boldsymbol{x}=0\)的向量\(\boldsymbol{x}=\begin{bmatrix}x_1 \\x_2 \\x_3\end{bmatrix}\)的集合。上面提到的矩阵\(A\)的列空间是\(\mathbb{R}^4\)的子空间,\(A\)的零空间是\(\mathbb{R}^3\)的子空间,很容易检验\(A\)的零空间是向量空间:\(A(\boldsymbol{x_1}+\boldsymbol{x_2})=A\boldsymbol{x_1}+A\boldsymbol{x_2}=0\),\(A(c\boldsymbol{x})=c(\boldsymbol{0})\)
以\(A\)为例:
\[ \begin{bmatrix} 1 & 1 & 2\\ 2 & 1 & 3\\ 3 & 1 & 4\\ 4 & 1 & 5 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix}= \begin{bmatrix} 0\\ 0\\ 0\\ 0 \end{bmatrix} \]
\(A\)的零空间\(N(A)\)是\(c\begin{bmatrix}1\\1\\-1\end{bmatrix}\),其中\(c\)是任意实数,列1加列2减去列3为零向量,该零空间是\(\mathbb{R}^3\)中的一条直线。
\(\boldsymbol b\)的其它值
\[ \begin{bmatrix} 1 & 1 & 2\\ 2 & 1 & 3\\ 3 & 1 & 4\\ 4 & 1 & 5 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix}= \begin{bmatrix} 1\\ 2\\ 3\\ 4 \end{bmatrix} \]
上述等式的解不能构成子空间,很简单能够判断:因为零向量不是解。所有的解构成\(\mathbb{R}^3\)中的一条直线,并且通过\(\begin{bmatrix}1\\0\\0\end{bmatrix}\)和\(\begin{bmatrix}0\\-1\\1\end{bmatrix}\),但不经过\(\begin{bmatrix}0\\0\\0\end{bmatrix}\)。
笔记来源:MIT 18.06 lecture 6