投影矩阵

1. 投影的定义

  考虑向量空间的直和分解${\mathbb{C}}^n=S\oplus H$内的任意向量$x\in {\mathbb{C}}^n$。若$x=x_1+x_2$满足$x_1\in S$和$x_2\in H$，并且$X_1$和$x_2$是唯一确定的，则称映射$Px=x_1$是向量$x$沿着子控件$H$的方向到子空间$S$的投影，并称$P$是沿着$H$的方向到$S$的投影算子，记为$P_{S|H}$。

  齐次线性算子$P$称为投影算子，若它具有幂等性。

  映射$P^{\perp }=I-P$称为$P$的正交投影算子，若$P$不仅是幂等矩阵，而且还是Hermitian矩阵。

2. 到列空间的投影矩阵与正交投影矩阵

  任一列满秩矩阵$X=(x_1,...,x_p)$，记由$X$的列张成的线性空间为$\mathcal{L}(X)$，到$\mathcal{L}(X)$的投影矩阵为$P_X=X(X^{\prime }X{)}^{-1}{X}^{\prime }$，到$\mathcal{L}(X)$的正交投影矩阵为$P_{X^{\perp }}=I-P_X$，事实上，$P_{X^{\perp }}$为到$\mathcal{L}(X)$的正交空间$\mathcal{L}(X{)}^{\perp }$的投影矩阵。

说明：取$\mathcal{L}(X)$的一组正交基$u_1,...,u_p$按列构成矩阵$U=[u_1,...,u_p]$，任一向量$z\in {\mathbb{C}}^n$的$\mathcal{L}(X)$的投影为：
$$\begin{array}{rl}a& =\frac{<u_1,z>}{<u_1,u_1>}{u}_1+\frac{<u_2,z>}{<u_2,u_2>}{u}_2+...+\frac{<u_p,z>}{<u_p,u_p>}{u}_p\\ & =[u_1,...,u_p]\left[\begin{array}{c}\frac{u_1^H}{<u_1,u_1>}\\ \frac{u_2^H}{<u_2,u_2>}\\ ...\\ \frac{u_p^H}{<u_p,u_p>}\end{array}\right]z\\ & =[u_1,...,u_p]diag((u_1^H{u}_1{)}^{-1},...,(u_p^H{u}_p{)}^{-1})\left[\begin{array}{c}{u}_1^H\\ u_2^H\\ ...\\ u_p^H\end{array}\right]z\\ & =U(U^{H}U{)}^{-1}{U}^{H}z\end{array}$$
故$U(U^{H}U{)}^{-1}{U}^H$是到$\mathcal{L}(X)$的投影矩阵。设$A$到$U$的过渡矩阵为$P$，则$P$是可逆矩阵，$U=AP$。
$$U(U^{H}U{)}^{-1}{U}^H=AP((AP{)}^{H}AP{)}^{-1}(AP{)}^H=AP{P}^{-1}(A^{H}A{)}^{-1}(P^H{)}^{-1}{P}^H{A}^H=A(A^{H}A{)}^{-1}{A}^H$$
故$A(A^{H}A{)}^{-1}{A}^H$是到$\mathcal{L}(X)$的投影矩阵。

3. 一个有用的结果

  设$X$为$n\times p$阶列满秩矩阵，$V$为$n\times n$阶正定矩阵，对任意满足$A^{\prime }X=0$的$n\times (n-p)$阶列满秩矩阵$A$，有：
$$A(A^{\prime }VA{)}^{-1}{A}^{\prime }=V^{-1}-V^{-1}X(X^{\prime }{V}^{-1}X{)}^{-1}{X}^{\prime }{V}^{-1}$$

上式用投影矩阵的形式可写为：$P_{V^{1/2}A}=I-P_{V^{-1/2}X}$。

  特别的，当$V=I$时，有$P_A=I-P_X=P_{X^{\perp }}$。

  从投影的角度理解：$\mathcal{L}(V^{1/2}A)$中的任一元素可写为$V^{1/2}Aa$，$\mathcal{L}(V^{-1/2}X)$中的任一元素可写为$V^{-1/2}Xb$，$$(V^{1/2}Aa{)}^{\prime }(V^{-1/2}Xb)=a^{\prime }{A}^{\prime }{V}^{1/2}{V}^{-1/2}Xb=a^{\prime }{A}^{\prime }Xb=0$$
表明$\mathcal{L}(V^{1/2}A)$与$\mathcal{L}(V^{-1/2}X)$正交，即有$P_{V^{1/2}A}=P_{(V^{-1/2}X{)}^{\perp }}=I-P_{V^{-1/2}X}$。