高维空间中的投影矩阵

高维空间中的投影矩阵

假设向量$\mathbf{b}=(b^{(1)},b^{(2)},...,b^{(n)}{)}^{\mathrm{T}}\in R^n$,投影到一个$m$维的超平面$M$中，得到向量$\mathbf{a}=(a^{(1)},a^{(2)},...,a^{(n)}{)}^{\mathrm{T}}$
首先，$\mathbf{a}$可分解为$M$中一组基向量${\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_m$（其中${\mathbf{a}}_i=(a_i^{(1)},a_i^{(2)},...,a_i^{(n)}{)}^{\mathrm{T}},i=1,2,...m$）的线性组合,即$$\mathbf{a}=x_1{\mathbf{a}}_1+x_2{\mathbf{a}}_2+...+x_m{\mathbf{a}}_m$$
这里$x_1,...,x_m$是每个基向量的系数
也可以表示成矩阵形式$$\mathbf{a}=A\mathbf{x}$$
其中$A=[{\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_m]$是一个$n\times m$的矩阵，$\mathbf{x}=[x_1,x_2,...,x_m{]}^{\mathrm{T}}$为系数向量
另一方面，根据投影的性质，向量$(\mathbf{b}-\mathbf{a})\in M^{\perp }$，也就是说向量$\mathbf{b}-\mathbf{a}=\mathbf{b}-A\mathbf{x}$与任意一个$M$中的基向量${\mathbf{a}}_i$垂直，那么$${\mathbf{a}}_i\cdot (\mathbf{b}-A\mathbf{x})={\mathbf{a}}_i^{\mathrm{T}}(\mathbf{b}-A\mathbf{x})=0$$其中$i=1,2,...,m$，将这$m$个式子合并成矩阵形式$$A^{\mathrm{T}}(\mathbf{b}-A\mathbf{x})=0$$可求得$$\mathbf{x}=(A^{\mathrm{T}}A{)}^{-1}{A}^{\mathrm{T}}\mathbf{b}$$这里，$A$的列向量为$M$的基向量，所以线性无关，可推出$A^{\mathrm{T}}A$可逆。
那么$\mathbf{b}$投影到$M$中的向量$$\mathbf{a}=A\mathbf{x}=A(A^{\mathrm{T}}A{)}^{-1}{A}^{\mathrm{T}}\mathbf{b}$$可得到投影矩阵$$P=A(A^{\mathrm{T}}A{)}^{-1}{A}^{\mathrm{T}}$$
这里的$A$为投影超平面中基向量（列向量）的组合。
可以轻松得到投影矩阵的一些性质：
（1）对称性：$P=P^{\mathrm{T}}$
（2）幂等性：$P^2=P$
（3）秩：$rank(P)=m$

投影矩阵的形式很容易联想到线性回归的解，$$\mathbf{w}=(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}\mathbf{y}$$$$\hat{\mathbf{y}}=X\mathbf{w}=X(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}\mathbf{y}$$也就是说线性回归求解的过程就是输出向量投影到输入向量所张成的超平面的过程。