四个子空间的正交性
矩阵A的四个子空间是:row space, column space, nullspace and left nullspace,其中:
- row space and nullspace are orthogonal complements
- column space and left nullspace are also orthogonal complements
orthogonal complements 的概念
SPACEA 和 SPACEB 是orthogonal complements的意思是:SPACEA中的任意向量 都和 SPACEB中的任意向量垂直(orthogonal),且dim(SPACEA) + dim(SPACEB) = n,所有与SPACEB垂直的向量都在SPACEA中(complement)
三维空间中,只有:①点 和 整个三维空间;②线 和 垂直于线的平面 才能是orthogonal complements,线和线即使垂直也不是,因为不满足complement这个条件!面和面更不行,orthogonal和complement都不满足!
orthogonal complements 的意义
complement的意义是:任意一个x都能唯一地分为一个row space component xr 和一个nullspace component xn,Ax = Axr+Axn,如图所示:
- 可划分:row space的basis与nullspace的basis构成了n个独立的basis,所以可以表达任意的x
- 唯一性:每个b都只有一个xr与之对应,如果有两个的话,Axr1-Axr2=0,xr1-xr2即属于row space又属于nullspace,决定了xr1=xr2,xn随之唯一。
(并不是所有的b都在column space中,假如Ax=b无解时,b就不是A的column的线性组合,b也就不再A的column space中了。)
Projection matrix
几个性质
- 因为任何投影向量p(=Pb)都在P的column space中,所以rank(P)与投影到的子空间维数有关:投影到一条线时,rank(P)=1;一个面时,rank(P)=2;以此类推。
- 联系几何意义,PP=P(也可以从P的公式出发证明)
- I-P 也是投影矩阵,其空间与P的子空间互为orthogonal:(I-P)b=b-Pb=b-p=e
- PT=P:从P的公式推导即可
- 分解后p在A的column space中(p=Ax),e在AT的nullspace中(ATe=0)。
寻找投影矩阵P的步骤
寻找向量b在矩阵A构成的column space的投影 p=Ax^ p=Ax^的步骤:
- 通过error vector e=b-p与column space垂直,找出向量 x^ x^ ;
- find the projection p=Ax^ p=Ax^;
- find the matrix P P.
第一步:找出向量 x^ x^
A的列向量是所代表的子空间的基,所以向量 x^ x^ 的意义是找到这组基的一个线性组合,来代表投影向量 p=Ax^ p=Ax^ 。
写成: AT(b−Ax^)=0 AT(b−Ax^)=0
得到: x^=(ATA)−1ATb x^=(ATA)−1ATb
括号不能去除,因为单独的一个A可能不可逆(但是ATA可逆,因为ATA的秩和A的秩相同,而A的秩等于A的列向量数目)!
第二步与第三步
p=Ax^=A(ATA)−1ATb p=Ax^=A(ATA)−1ATb
P=A(ATA)−1AT P=A(ATA)−1AT
ATA的性质
对任何A,都有rank(ATA)=rank(A)=rank(AT)
解法是证明二者具有一模一样的nullspace,因此二者rowspace的dimension相同(参见图“四个子空间”):ATAx=0 <=> Ax=0
- 向左:容易
- 向右:(左)xTATAX=(Ax)TAx=||Ax||2=(右)xT0=0,故Ax=0
当A的列向量都独立时,也就是rank(A)=n时,ATA可逆
比较简单,列向量都独立,则必有m>=n,故ATA是一个n*n的矩阵且满秩。
当A的行向量都独立时,ATA不一定可逆:只有当m=n时才可逆;否则有m<n,这样ATA是一个n*n的矩阵,秩为m<n,因此不可逆。
ATA对称
由公式证明:(ATA)T=ATATT=ATA
直观上理解:ATA的第(i,j)个entry是 AT的第i行(也就是A的第i列的转置) 与 A的第j列 的点乘,第(j,i)个entry是 AT的第j行(也就是A的第j列的转置) 与 A的第i列 的点乘。
当A的列向量都互相垂直时,ATA是对角线矩阵;当列向量长度都为1时,ATA=I
证明比较简单。
详见orthogonal bases and Gram-Schmidt