二维空间投影
给定两个向量a和b
b在a方向上的分量是xa,x就是b在a上的投影长度,此时可以构筑一个与a垂直的向量,即b-xa
因为b-xa和a垂直,所以
a
T
(
b
−
x
a
)
=
0
→
x
=
a
T
b
a
T
a
a^T(b-xa)=0 \rightarrow x=\frac{a^Tb}{a^Ta}
aT(b−xa)=0→x=aTaaTb
b在a上的投影是
a
x
=
a
a
T
b
a
T
a
=
a
a
T
a
T
a
b
ax=a\frac{a^Tb}{a^Ta}=\frac{aa^T}{a^Ta}b
ax=aaTaaTb=aTaaaTb
所以a向量的投影矩阵P是
a
a
T
a
T
a
\frac{aa^T}{a^Ta}
aTaaaT,它乘以其他向量就相当于把其他向量投影到a上
P的列空间就是a向量方向的直线,因为Pb是投影到a上的分量,从列空间角度看就是Pb就是P列空间上的成员
P矩阵满足两个特点
P
T
=
P
P^T=P
PT=P
P
2
=
P
P^2=P
P2=P,因为两次投影和一次投影的结果是一样的
超维空间投影
给定一组超平面的基向量,它们按列堆叠得到A,这个超平面就是A的列空间
p
=
A
x
^
p=A\hat{x}
p=Ax^ 意味着p是A列空间上的向量,假设它是b的在A列空间投影
那么
b
−
A
x
^
b-A\hat{x}
b−Ax^是b在垂直于A列空间上的分量
因为垂直所以有
a
i
T
(
b
−
A
x
^
)
=
0
a_i^T(b-A\hat{x})=0
aiT(b−Ax^)=0 即
A
T
(
b
−
A
x
^
)
=
0
→
A
T
A
x
^
=
A
T
b
→
x
^
=
(
A
T
A
)
−
1
A
T
b
A^T(b-A\hat{x})=0 \rightarrow A^TA\hat{x}=A^Tb \rightarrow \hat{x}=(A^TA)^{-1}A^Tb
AT(b−Ax^)=0→ATAx^=ATb→x^=(ATA)−1ATb
所以b在超平面的投影
p
=
A
(
A
T
A
)
−
1
A
T
b
p=A(A^TA)^{-1}A^Tb
p=A(ATA)−1ATb
因此A列空间所表示超平面的投影矩阵P是 A ( A T A ) − 1 A T A(A^TA)^{-1}A^T A(ATA)−1AT在二维平面他就是 a a T a T a \frac{aa^T}{a^Ta} aTaaaT
这个投影矩阵也满足之前提到的两个特点
顺便说一下他也可以求Ax=b的近似解,当Ax=b无解时,把b投影到A的列空间,那么就可以求近似解了,解 x x x就是就是上面那个 x ^ \hat{x} x^
证明A列独立时, A T A A^TA ATA可逆
假设
A
T
A
x
=
0
A^TAx=0
ATAx=0
那么
X
T
A
T
A
x
=
0
→
(
A
x
)
T
A
x
=
0
→
A
x
=
0
X^TA^TAx=0 \rightarrow (Ax)^TAx=0 \rightarrow Ax=0
XTATAx=0→(Ax)TAx=0→Ax=0
因为A列独立,零空间只有0
所以
A
x
=
0
Ax=0
Ax=0只有零解满足条件
这也就是说
A
T
A
x
=
0
A^TAx=0
ATAx=0也只有零解才满足条件
所以
A
T
A
A^TA
ATA也是列独立的,同时他又是方阵,所以这个矩阵就是满秩的,满秩也就意味着可逆
3068
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
