1. 正交子空间
两个向量垂直,意味着 v T w = 0 v^Tw=0 vTw=0。
两个子空间 V \boldsymbol V V 和 W \boldsymbol W W 是正交的,如果 V \boldsymbol V V 中的每个向量 v v v 都垂直于 W \boldsymbol W W 中的每个向量 w w w。
想象你处在一个房间里,那么地面是一个子空间 V \boldsymbol V V,两面墙的交线是另一个子空间 W \boldsymbol W W,这两个子空间是正交的。
两面看起来垂直的墙不是正交的,因为它们相交于一条直线,这条直线同时存在于两个子空间,它不可能自己垂直于自己。
两个 R 3 \boldsymbol R^3 R3 空间中的二维平面不可能正交,当两个子空间的维数之和大于整个空间的维数时,这两个子空间肯定不是正交的。
如果一个向量同时位于两个正交的子空间内,那这个向量一定是零向量,只有零向量自己垂直于自己。
零向量是零空间和行空间的唯一交点,并且零空间和行空间是 R n \boldsymbol R^n Rn 中正交的两个子空间。
由 A x = 0 Ax=0 Ax=0 可得,行空间中的每个向量和零空间中的每个向量都是垂直的,因此它们是正交的子空间。
另一方面, A T y A^Ty ATy 是对 A A A 的行的线性组合,那么有
x T ( A T y ) = ( x T A T ) y = ( A x ) T y = 0 x^T(A^Ty) = (x^TA^T)y = (Ax)^Ty = 0 xT(ATy)=(xTAT)y=(Ax)Ty=0
即,所有 A A A 的行的线性组合都垂直于 x x x。
左零空间和列空间是 R m \boldsymbol R^m Rm 中正交的两个子空间。
2. 正交补
基本空间不仅仅是正交的,它们的维数也刚刚好。行空间的维数为 r r r,零空间的维数为 n − r n-r n−r,和为 n n n。列空间的维数为 r r r,左零空间的维数为 m − r m-r m−r,和为 m m m。
R 3 \boldsymbol R^3 R3 空间中的两条直线也可以是垂直的,但它们不可能是一个 3×3 矩阵的行空间和零空间。
一个子空间 V \boldsymbol V V 的正交补(orthogonal complement)包含所有垂直于 V \boldsymbol V V 的向量 ,称为 V ⊥ \boldsymbol V^\perp V⊥。
由这个定义,那么零空间 N ( A ) N(A) N(A) 是 R n \boldsymbol R^n Rn 中行空间 C ( A T ) C(A^T) C(AT) 的正交补,左零空间 N ( A T ) N(A^T) N(AT) 是 R m \boldsymbol R^m Rm 中列空间 C ( A ) C(A) C(A) 的正交补。
补的意思是说每个向量 x x x,都可以表示为行空间分量 x r x_r xr 和零空间分量 x n x_n xn 的和,那么有:
A
x
n
=
0
Ax_n =0
Axn=0
A
x
r
=
A
x
Ax_r =Ax
Axr=Ax
所有的向量都去到了列空间,乘以 A A A 后没有做其它的事情。
而且,任何列空间中的向量 b b b 都来自于行空间中的唯一一个向量。如果有 A x r = A x r ′ Ax_r = Ax_r' Axr=Axr′,那么 x r − x r ′ x_r-x_r' xr−xr′ 就位于零空间中,而且它也位于行空间中,所以它一定为零向量,也就是 x r = x r ′ x_r=x_r' xr=xr′。
3. 基和子空间
任何 R n \boldsymbol R^n Rn 空间中的 n n n 个不相关向量一定扩充出 R n \boldsymbol R^n Rn 空间,因此它们是一个基。
任何扩充出 R n \boldsymbol R^n Rn 空间的 n n n 个向量一定是不相关的,因此它们是一个基。
如果 A A A 中的 n n n 列是不相关的,则它们扩充出 R n \boldsymbol R^n Rn 空间,因此 A x = b Ax=b Ax=b 是可解的。
如果 n n n 列扩充出 R n \boldsymbol R^n Rn 空间,则它们是不相关的,因此 A x = b Ax=b Ax=b 有唯一解。
获取更多精彩,请关注「seniusen」!