MIT18.06 线性代数笔记 14 正交向量与子空间

对于向量$x$和$y$, 若$x^{T}y=0$, 则称$x$和$y$正交, 且有$||x|{|}^2+||y|{|}^2=||x+y|{|}^2$.
若子空间$S$和子空间$T$正交, 那么对任意$S$中的向量$x$和任意$T$中的向量$y$, $x$和$y$正交. 若两个子空间含有公共的非零向量, 那么这两个子空间必不正交. 零维子空间与其他子空间必然正交.
在四个基本子空间中, 行空间与零空间正交, 列空间与左零空间正交. $C(A)$表示空间, 则$C(A^T)$表示行空间, $N(A)$表示零空间, 则$N(A^T)$表示列空间. 对于
$A=\left[\begin{array}{c}{r}_1\\ r_2\\ ...\\ r_m\end{array}\right]$
$Ax=0$时, 显然$r_{1}x=0,r_{2}x=0,...,r_{m}x=0$而$C(A^T)$是$A$中各行的线性组合所组成的向量, 所以其中任意向量都必然与$x$正交, 而$x$正是零空间中的所有向量. 列空间与左零空间同理可得相同的结论.
此外, 对于$m\times n$维的矩阵$A$, $C(A^T)$与$N(A)$互为$R^n$的正交补, $C(A)$与$N(A^T)$互为$R^m$的正交补. 也就是说, $N(A)$含有所有正交于$C(A^T)$的向量，而$N(A^T)$含有所有正交于$C(A)$的向量, $C(A^T)$的维数加$N(A)$的维数为$n$, $C(A)$的维数加$N(A^T)$的维数为$m$, $C(A^T)$与$N(A)$, $C(A)$与$N(A^T)$共同包含的向量只有零向量.

如果解$Ax=b$时无解, 即$b$不在$C(A)$中, 该怎么办? 可以方程两边同时左乘$A^T$.
$A^{T}Ax=A^{T}b$ 该方程一定有解, 这个解是一个“近似解”.
$A^{T}A$是对称方阵, 但不一定可逆.
不过$N(A^{T}A)=N(A)$, $rank(A^{T}A)=rank(A)$, 可以这样证明, $A^{T}Ax=0$两边同乘$x^T$,
$x^T{A}^{T}Ax=0$, 即$(Ax{)}^{T}Ax=0$, 而向量内积非负, 故$Ax=0$, 所以$N(A^{T}A)=N(A)$, $rank(A^{T}A)=rank(A)$