本系列笔记为方便日后自己查阅而写,更多的是个人见解,也算一种学习的复习与总结,望善始善终吧~
正交 orthogonal
正交就是垂直
垂直的起源:三角形,毕达哥拉斯发现的勾股定理
1.向量的正交
如何知道向量是否正交?我们从勾股定理得到启发,满足勾股定理的为直交三角形即两边垂直(正交),推广至向量我们知道两向量的inner product为0则两向量正交,零向量与所有向量正交。
1.1内积、点积、数量积 inner product、dot product、 scalar product
上面这么多名字全是代表一个东西!!!!
上面这么多名字全是代表一个东西!!!!
上面这么多名字全是代表一个东西!!!!
其运算为两个向量
a→=[a1,a2,a3...an],b→=[b1,b2,b3...bn]
二者的inner product为
a1∗b1+a2∗b2+a3∗b3+...an+bn
看起来好眼熟有没有,如果把向量看出矩阵,那么用矩阵的乘法来表示inner product就是
aTb或bTa
1.2外积、叉积、向量积outer product、cross product、vector product
是的,这玩意也有这么多名字!!!!
正常人只要记得inner product和outer product好了,对称又好记
叉乘的运算规则:
引用自百度百科
http://baike.baidu.com/link?url=WmoEkP_27dXdMT1Ir1oqHGb_IwZMRV8jElwuq2nVNq22vaujE5w8SNAcmA3B15auWtytb9LE-uiiIJNbygF_75wc-BbLdmgDK4p_O0oWcAhCbYvKqh059LVOOyXBhXyzd8pyi6ATDGTFPW-jckfDT_
叉乘会生成一个垂直于两个向量的新的向量,方向可以用右手定则确定,大小为
|a||b|sin(θ)
2.空间的正交
两空间正交意味着在空间 A 中的所有向量都和在空间
B 中的所有向量正交
所以我们可以知道,如果两个空间相交于一个非零向量,则两个空间不可能正交,因为一个非零向量不可能与其本身正交。
老师又祭出了这张图:
并告知我们说,记住了小朋友们:
row space与null space正交且他们把n维空间一分为二,称二者为在 Rn 中的正交补orthogonal complements
row space与null space正交的理由就大大方方的展示在
Ax=0
里:
再次回到Ax = b
又一次! Ax=b
应用促进了理论研究,理论又回过头来指导应用。
通过之前的学习我们已经知道了
Ax=b
在什么情况下有解并且能得出其解,那么,当无解的时候,我们要取什么解?!听起来很绕是吧?都无解了还怎么求解。
在应用当中,我们经常做一件这样的事情,有某个线性系统
x
,我们不知道其数学模型,于是我们试着用不同的输入去观察系统的输出,以此来知道系统的模型。我们可能会丢进去成千上万组的
这里面的数据不可能每一组都是完美的,会有一些很糟糕的数据混进去,这些数据会使得我们的方程无解,比如第一组数据说
A=2
时
b=1.8
,第二组数据说
A=2
时
b=1.9
,类似这样的情况,方程根本无解,但是很明显如果我们有足够多的数据,我们是能够得到一个最优解来表示这个系统,那么方法是什么?!
方法就藏在 ATA 之中,因为其结果为方阵同时又是对称矩阵symmetric matrix,利用它我们可以把 Ax=b转化为ATAx=ATb 此时求解的x是原本的x是不同的,我们给它加个帽子 ATAx^=ATb , x^ 真的就叫做x hat
这个新的方程可能就解了,这里有个重要的性质 rank(ATA)=rank(A) ,是否有解就看是否有逆/满秩/column vector线性无关
老师强调说下节课很重要~~~
PS:另一位仁兄的笔记
http://blog.csdn.net/suqier1314520/article/details/13625687