转载自:https://blog.csdn.net/huang1024rui/article/details/69568991
上一讲中,我们知道了投影矩阵 P=A(ATA)−1AT P = A ( A T A ) − 1 A T , Pb P b 将会把向量投影在A的列空间中。即只要知道矩阵 A A 的列空间,就能得到投影矩阵。
1.投影矩阵(Ax=b无解的情形)
1.1两个极端的例子:
1) 如果
b∈C(A)
b
∈
C
(
A
)
,则
Pb=b
P
b
=
b
;
2) 如果
b⊥C(A)
b
⊥
C
(
A
)
,则
Pb=0
P
b
=
0
。
证明1):
证明2):
具体的图示化看下文:
1.2一般情形
一般情况下, b b 将会有一个垂直于的分量,有一个在 A A 列空间中的分量,投影的作用就是去掉垂直分量而保留列空间中的分量。
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/ae5f2bc358f5554531bd5bb227a280f2.png)
向量投影后,有 b=e+p,p=Pb,e=(I−P)b b = e + p , p = P b , e = ( I − P ) b ,这里的 p p 是在 C(A) C ( A ) 中的分量,而 e e 是在 N(AT) N ( A T ) 中的分量。
可以理解为:向量 b b 的投影在的列空间,偏差向量的投影在左零空间上,我们知道 P P ,可以将投影到 p p ,那么一个什么样的投影矩阵把投影到了 e e ?因为列空间与左零空间正交补,所以他们共同组成了整个空间,的列空间就是整个空间, I−P I − P 就是把 b b 投影到的矩阵。
2. 最小二乘法(Ax=b)
回到上一讲最后提到的例题:
我们需要找到距离图中三个点 (1,1),(2,2),(3,2) ( 1 , 1 ) , ( 2 , 2 ) , ( 3 , 2 ) ,偏差最小的直线: y=C+Dt y = C + D t 。
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/7856f931e15031d58c07f1353649198b.png)
根据条件可以得到方程组:
,写作矩阵形式:
,也就是我们的
Ax=b
A
x
=
b
,很明显方程组无解。
此时我们要找到最接近的解”最优解”,我们要使得解最优即误差最小,定义误差为 Ax−b=e A x − b = e 的模长的平方即 ∥∥Ax−b∥2=∥e∥2=e21+e22+e23 ∥ A x − b ∥ 2 =∥ e ∥ 2 = e 1 2 + e 2 2 + e 3 2 。此处使用平方的原因一是排除开根号带来的非线性运算,一是方便利用偏导数求解最小值。
2.1利用偏导
这里如果使用偏导数我们也能得到关于最优解的方程,展开结果为:
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/e8bc3df8338dd2ed5e630d15149566c4.png)
然后对
C
C
求偏导为;对D求偏导为
28D−22+12C=0
28
D
−
22
+
12
C
=
0
。 解方程得
C^=23,D^=12
C
^
=
2
3
,
D
^
=
1
2
,则“最佳直线”为
y=23+12t
y
=
2
3
+
1
2
t
,则“最佳直线”为y=23+12t,带回原方程组解得
p1=76,p2=53,p3=136
p
1
=
7
6
,
p
2
=
5
3
,
p
3
=
13
6
,即
e1=−16,e2=13,e3=−16
e
1
=
−
1
6
,
e
2
=
1
3
,
e
3
=
−
1
6
。 最终得到:
p=⎡⎣⎢⎢7653136⎤⎦⎥⎥
p
=
[
7
6
5
3
13
6
]
,,易看出
b=p+e
b
=
p
+
e
,同时我们发现
p⋅e=0
p
⋅
e
=
0
即
p⊥e
p
⊥
e
。可以验证,向量
p
p
与
e
e
正交,并且 与矩阵
A
A
的列空间正交。
可以验证,向量 与
e
e
正交,并且 与矩阵
A
A
的列空间正交。
误差向量e不仅垂直于投影向量p,它同时垂直于列空间。
2.2利用矩阵
用矩阵的方法求解 Ax^=Pb A x ^ = P b 得到的方程是一样的,现在我们尝试解出 x^=[C^D^],p=⎡⎣⎢p1p2p3⎤⎦⎥ x ^ = [ C ^ D ^ ] , p = [ p 1 p 2 p 3 ] 。
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/5163ad7c22fb4ef3c86fe73dda8e45dc.png)
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/5c1591c944b6f0ab2578907bf8b85f9f.png)
3.证明 ATA A T A 可逆
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/67c7e24bf4277d2149a19aceec154e1e.png)
![这里写图片描述](https://i-blog.csdnimg.cn/blog_migrate/7ae31aa0f9200bb57eaac7b131350ccb.png)