投影
(老师侧颜好帅啊啊啊啊)
推导过程:
e
和
p
垂
直
,
有
:
a
T
(
b
−
p
)
=
0
e和p垂直,有:a^T(b-p)=0
e和p垂直,有:aT(b−p)=0
a
T
(
b
−
x
a
)
=
0
a^T(b-xa) = 0
aT(b−xa)=0
a
T
b
=
x
a
T
a
a^Tb = xa^Ta
aTb=xaTa
因
为
a
T
a
是
一
个
数
,
所
以
同
时
除
以
它
有
:
因为a^Ta是一个数,所以同时除以它有:
因为aTa是一个数,所以同时除以它有:
x
=
a
T
b
/
a
T
a
x = a^Tb/a^Ta
x=aTb/aTa
p
=
(
a
a
T
/
a
T
a
)
b
p = (aa^T/a^Ta)b
p=(aaT/aTa)b
这个p就是一个n×n维的矩阵
投影,是一个矩阵,作用在b上面,使我们得到投影p
特殊矩阵
(
a
a
T
/
a
T
a
)
(aa^T/a^Ta)
(aaT/aTa)
p
=
P
∗
b
p = P*b
p=P∗b
这个矩阵非常有趣,大P*b得到的在大P的列空间(一维)里
所以P矩阵的列空间的一条通过a的直线,所以它的秩为1
这个矩阵是对称的: P T = P P^T = P PT=P
第二次转置无效 P 2 = P P^2 = P P2=P
为什么需要投影
因为 A x = b Ax =b Ax=b可能无解
Ax肯定在A的列空间内,而b不在,我们把b做到A上的投影变成p,就成了有解的情况
二维情况
矩阵形式
我天,normal equation 推出来了
刚才两个性质都保存下来了