【线性代数公开课MIT Linear Algebra】 第十四课 正交，再次回到Ax=b

本系列笔记为方便日后自己查阅而写，更多的是个人见解，也算一种学习的复习与总结，望善始善终吧~

正交 orthogonal

正交就是垂直

垂直的起源：三角形，毕达哥拉斯发现的勾股定理

1.向量的正交

如何知道向量是否正交？我们从勾股定理得到启发，满足勾股定理的为直交三角形即两边垂直(正交)，推广至向量我们知道两向量的inner product为0则两向量正交，零向量与所有向量正交。

---

1.1内积、点积、数量积 inner product、dot product、 scalar product

上面这么多名字全是代表一个东西！！！！
上面这么多名字全是代表一个东西！！！！
上面这么多名字全是代表一个东西！！！！
其运算为两个向量$\overrightarrow a=[a_1,a_2,a_3...a_n],\overrightarrow b=[b_1,b_2,b_3...b_n]$
二者的inner product为$a_1*b_1+a_2*b_2+a_3*b_3+...a_n+b_n$
看起来好眼熟有没有，如果把向量看出矩阵，那么用矩阵的乘法来表示inner product就是$a^Tb或b^Ta$

---

1.2外积、叉积、向量积outer product、cross product、vector product

是的，这玩意也有这么多名字！！！！
正常人只要记得inner product和outer product好了，对称又好记
叉乘的运算规则：

引用自百度百科
http://baike.baidu.com/link?url=WmoEkP_27dXdMT1Ir1oqHGb_IwZMRV8jElwuq2nVNq22vaujE5w8SNAcmA3B15auWtytb9LE-uiiIJNbygF_75wc-BbLdmgDK4p_O0oWcAhCbYvKqh059LVOOyXBhXyzd8pyi6ATDGTFPW-jckfDT_
叉乘会生成一个垂直于两个向量的新的向量，方向可以用右手定则确定，大小为$|a||b|sin(\theta)$

2.空间的正交

两空间正交意味着在空间$A$中的所有向量都和在空间$B$中的所有向量正交

所以我们可以知道，如果两个空间相交于一个非零向量，则两个空间不可能正交，因为一个非零向量不可能与其本身正交。
老师又祭出了这张图：

并告知我们说，记住了小朋友们：

row space与null space正交且他们把n维空间一分为二，称二者为在$R^n$中的正交补orthogonal complements

row space与null space正交的理由就大大方方的展示在$Ax=0$里：

---

再次回到Ax = b

又一次！$Ax=b$

应用促进了理论研究，理论又回过头来指导应用。

通过之前的学习我们已经知道了$Ax=b$在什么情况下有解并且能得出其解，那么，当无解的时候，我们要取什么解？！听起来很绕是吧？都无解了还怎么求解。
在应用当中，我们经常做一件这样的事情，有某个线性系统$x$，我们不知道其数学模型，于是我们试着用不同的输入去观察系统的输出，以此来知道系统的模型。我们可能会丢进去成千上万组的$A_1,A_2...A_n$，得到成千上万的$b_1,b_2...b_n$,把他们当做$A$和$b$的column vector,方程写成矩阵形式：$Ax=b$
这里面的数据不可能每一组都是完美的，会有一些很糟糕的数据混进去，这些数据会使得我们的方程无解，比如第一组数据说$A=2$时$b=1.8$,第二组数据说$A=2$时$b=1.9$，类似这样的情况，方程根本无解，但是很明显如果我们有足够多的数据，我们是能够得到一个最优解来表示这个系统，那么方法是什么？！

方法就藏在$A^TA$之中，因为其结果为方阵同时又是对称矩阵symmetric matrix，利用它我们可以把$Ax=b转化为A^TAx=A^Tb$此时求解的x是原本的x是不同的，我们给它加个帽子$A^TA\hat x=A^Tb$，$\hat x$真的就叫做x hat

这个新的方程可能就解了，这里有个重要的性质$rank(A^TA)=rank(A)$，是否有解就看是否有逆/满秩/column vector线性无关

老师强调说下节课很重要~~~

PS：另一位仁兄的笔记
http://blog.csdn.net/suqier1314520/article/details/13625687