About 投影矩阵
一个矩阵
A
A
A既可以表示一种线性变换，又可以是一个子空间（由基张开的），还可以是一组坐标，甚是神奇。
一维空间的投影矩阵
查看上图，
p
p
p是
b
b
b在
a
a
a上的投影，可以发现，
p
p
p和
a
a
a是同向的，故可以表示为如下形式，其中
x
x
x是标量
p
=
a
x
p=ax
p=ax
根据
e
e
e和
p
p
p正交的条件，可以推导出
x
=
a
T
b
a
T
a
x=\frac{a^Tb}{a^Ta}
x=aTaaTb，则
p
=
a
a
T
b
a
T
a
=
a
a
T
a
T
a
b
=
P
b
p=a\frac{a^Tb}{a^Ta}=\frac{aa^T}{a^Ta}b=Pb
p=aaTaaTb=aTaaaTb=Pb
P
=
a
a
T
a
T
a
P=\frac{aa^T}{a^Ta}
P=aTaaaT
记
P
P
P为投影矩阵，说明了向量
b
b
b在
a
a
a上的投影
p
p
p是一个矩阵作用在
b
b
b上得到的。
P
P
P的性质
1.
P
=
P
T
P=P^T
P=PT，对称矩阵一定可以特征值分解
2.
r
a
n
k
(
P
)
=
1
rank(P)=1
rank(P)=1，由单个向量张开的子空间，秩为1
3.
P
=
P
2
P=P^2
P=P2，投影只起一次效果
投影矩阵的多维推广
向量
b
b
b在子空间上的投影是向量
b
b
b在向量
a
a
a上投影的推广。即此时向量
a
a
a变成矩阵
A
A
A，记
A
A
A的列空间包含两个向量
a
1
,
a
2
a_1,a_2
a1,a2，依旧记向量
b
b
b在
A
A
A空间上的投影为
p
p
p，则：
p
=
A
x
=
[
a
1
a
2
]
[
x
1
x
2
]
=
a
1
x
1
+
a
2
x
2
p=Ax=\begin{bmatrix} a_1&a_2\end{bmatrix}\begin{bmatrix} x_1 \\ x_2 \end{bmatrix}=a_1x_1+a_2x_2
p=Ax=[a1a2][x1x2]=a1x1+a2x2
误差向量
e
e
e垂直于列空间的平面，故：
{
a
1
T
(
b
−
p
)
=
0
a
2
T
(
b
−
p
)
=
0
\left\{ \begin{aligned} a_1^T(b-p)=0 \\ a_2^T(b-p)=0 \end{aligned} \right.
{a1T(b−p)=0a2T(b−p)=0
A
T
(
b
−
p
)
=
0
A^T(b-p)=0
AT(b−p)=0
A
T
(
b
−
A
x
)
=
0
A^T(b-Ax)=0
AT(b−Ax)=0
A
T
b
=
A
T
A
x
A^Tb=A^TAx
ATb=ATAx
x
=
(
A
T
A
)
−
1
A
T
b
x=(A^TA)^{-1}A^Tb
x=(ATA)−1ATb
此时投影向量
p
p
p的形式为：
p
=
A
x
=
A
(
A
T
A
)
−
1
A
T
b
=
P
b
p=Ax=A(A^TA)^{-1}A^Tb=Pb
p=Ax=A(ATA)−1ATb=Pb
P
=
A
(
A
T
A
)
−
1
A
T
P=A(A^TA)^{-1}A^T
P=A(ATA)−1AT
这存在一个疑问，
A
T
A
A^TA
ATA是否可逆？若
A
A
A各列线性无关则可逆。
P
P
P的性质
1.
P
=
P
T
P=P^T
P=PT，对称矩阵一定可以特征值分解
2.
r
a
n
k
(
P
)
=
r
a
n
k
(
A
)
rank(P)=rank(A)
rank(P)=rank(A)，由
A
A
A张开，故等秩
3.
P
=
P
2
P=P^2
P=P2，投影只起一次效果
投影的物理意义
向量投影到子空间的物理意义是什么？查看线性方程组
A
x
=
b
Ax=b
Ax=b：
A
=
[
a
1
a
2
⋯
a
n
]
,
x
=
[
x
1
x
2
⋮
x
n
]
A=\begin{bmatrix} a_1&a_2&\cdots&a_n\end{bmatrix}, x=\begin{bmatrix} x_1 \\ x_2 \\\vdots\\x_n \end{bmatrix}
A=[a1a2⋯an],x=⎣⎢⎢⎢⎡x1x2⋮xn⎦⎥⎥⎥⎤
b
=
a
1
x
1
+
a
2
x
2
+
⋯
+
a
n
x
n
b=a_1x_1+a_2x_2+\cdots+a_nx_n
b=a1x1+a2x2+⋯+anxn
上式的物理意义：把
A
A
A中的列向量看成
A
A
A的列空间中的基，
x
x
x为坐标，则向量
b
b
b是否可用
A
A
A中的基线性表示，若出现以下情况：向量
b
b
b不在
A
A
A的列空间中，则上式无解。
此时，若将
b
b
b投影至
A
A
A的子空间，即
p
=
P
b
=
A
(
A
T
A
)
−
1
A
T
b
p=Pb=A(A^TA)^{-1}A^Tb
p=Pb=A(ATA)−1ATb，求解
A
x
^
=
p
A\hat{x}=p
Ax^=p，因为
p
p
p最接近于
b
b
b，所以近似解
x
^
\hat{x}
x^最接近于
x
x
x，以上即为最小二乘法的几何解释，数学描述如下：
A
x
=
b
Ax=b
Ax=b
A
x
^
=
A
(
A
T
A
)
−
1
A
T
b
A\hat{x}=A(A^TA)^{-1}A^Tb
Ax^=A(ATA)−1ATb
x
^
=
(
A
T
A
)
−
1
A
T
b
\hat{x}=(A^TA)^{-1}A^Tb
x^=(ATA)−1ATb
信号处理中的正交投影技术
对于信号处理方向，矩阵论非常重要。
假设空间由干扰源张成的子空间以及噪声子空间构成，那么如何去除干扰？
1.已知干扰
Q
=
C
+
P
w
I
,
C
=
D
D
H
Q=C+P_wI, \quad C=DD^H
Q=C+PwI,C=DDH
其中，
D
D
D代表干扰源，
C
C
C是由干扰源构成的协方差矩阵，
P
w
P_w
Pw代表噪声功率。
若干扰源已知，即
D
D
D已知，则干扰源可用以下投影矩阵对消，全空间-干扰子空间的投影矩阵。
P
=
I
−
D
(
D
H
D
)
−
1
D
H
P=I-D(D^HD)^{-1}D^H
P=I−D(DHD)−1DH
P
D
=
I
D
−
D
I
=
0
PD=ID-DI=0
PD=ID−DI=0
综上可以发现，利用正交投影技术，可以将干扰源去掉。
2.未知干扰
对协方差矩阵
Q
Q
Q进行特征值分解，将干扰子空间和噪声子空间区分开。
Q
=
∑
l
=
1
L
λ
l
e
l
(
i
)
(
e
l
(
i
)
)
H
+
∑
l
=
L
+
1
N
λ
l
e
l
(
n
)
(
e
l
(
n
)
)
H
Q=\sum_{l=1}^{L}{\lambda_le_{l}^{(i)}(e_{l}^{(i)})^H}+ \sum_{l=L+1}^{N}{\lambda_le_{l}^{(n)}(e_{l}^{(n)})^H}
Q=l=1∑Lλlel(i)(el(i))H+l=L+1∑Nλlel(n)(el(n))H
Q
=
E
(
i
)
Λ
(
i
)
(
E
(
i
)
)
(
H
)
+
E
(
n
)
Λ
(
n
)
(
E
(
n
)
)
(
H
)
Q=E^{(i)}Λ^{(i)}(E^{(i)})^{(H)}+E^{(n)}Λ^{(n)}(E^{(n)})^{(H)}
Q=E(i)Λ(i)(E(i))(H)+E(n)Λ(n)(E(n))(H)
Q
=
Q
(
i
)
+
Q
(
n
)
Q=Q^{(i)}+Q^{(n)}
Q=Q(i)+Q(n)
因为特征向量相互正交，所以令投影矩阵
P
=
E
(
n
)
(
E
(
n
)
)
(
H
)
P=E^{(n)}(E^{(n)})^{(H)}
P=E(n)(E(n))(H)，此时
P
D
=
0
PD=0
PD=0，这里的
E
(
i
)
E^{(i)}
E(i)就是由干扰
D
D
D构成的协方差矩阵,当然，也可以写成标准形式：
P
=
I
−
E
(
i
)
(
(
E
(
i
)
)
(
H
)
E
(
i
)
)
−
1
(
E
(
i
)
)
(
H
)
P=I-E^{(i)}((E^{(i)})^{(H)}E^{(i)})^{-1}(E^{(i)})^{(H)}
P=I−E(i)((E(i))(H)E(i))−1(E(i))(H)
因为不知道干扰，所以要对特征值及特征向量进行估计，区分哪些属于干扰子空间，哪些属于噪声子空间。
Ref：
https://www.cnblogs.com/bigmonkey/p/9897047.html
8万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
