本系列笔记为方便日后自己查阅而写,更多的是个人见解,也算一种学习的复习与总结,望善始善终吧~
老师说要让这一节课 immortal 名垂青史,不过明显这节课依然还是前菜。
从投影说起
投影?what?
就是我们初中学的如何将一条线段投影到另一条线段上啦~
那…怎么突然讲这个?
故事还要从 Ax=b 无解的时候说起,当其无解的时候,我们求的解是什么?
我们想要的是“最优解”,即这个解对于原方程偏差error 最小,我们知道 Ax=b 有解时 b 在
A 的column space当中,当我们取b在column space中的投影 b^ 时,求解 Ax=b^ 此时的解的error最小。(猜测 b^ 与 b 的距离最小,不过不知道如何定义距离)
投影矩阵
二维上的投影
既然问题的关键在于投影,那么我们先从简单的开始
a⊥e=a⊥(b−xa)
⇒aT(b−xa)=0
⇒aTb=xaTa