重温线性代数（3）——正交、投影

        线性代数是数学中的基础，也是十分重要的数学工具。在接触机器学习之后，我逐渐认识到了线性代数的重要性，矩阵运算，优化求解，都离不开线性代数的知识。同时，我也发现了自己数学基础的严重不足，急需好好重学一遍线性代数，为之后的学习打好基础。因此，“重温线性代数”这个系列就诞生了。或许大家会觉得这个系列的内容稍微基础了点，但学习就是如此，一遍又一遍，脚踏实地，温故知新，每次学习都会有新的收获。

        离开了大学的课堂，但还好现在有琳琅满目的网络公开课课程。我选择学习的是网上颇受赞赏的MIT "Introdution to Linear Algebra"课程，由Gilbert Strang主讲。参考书目为Strang编写的《Introduction to Linear Algebra》4th edition。目前为止，我觉得这门课给我提供了不少新的有趣的思路，是我之前学习线性代数的时候没有思考过的，值得一学。

————————————————————————————————————————————————————————————————

         本文涉及的内容是课程视频中的14至17课，对应书本中的第四章 Orthogonality。顾名思义，本章主要讲的是“正交性”，而正交性的作用会体现在“投影”(Projection)当中，而投影的作用则是为了解决线性方程组 Ax=b 无解情况下的问题。加上本章的学习，我们就对 Ax=b 有了全面的认识。本文分以下三点进行介绍：

1. 正交性：包括向量的正交、子空间的正交；
2. 投影：从1维、3维投影出发，寻求Ax=b无解情况下的解法，即最小二乘法；
3. 矩阵的正交化：Gram-Schmidt 方法。

         本章内容看似不太困难，但我学习的时候也感觉有点犯晕。如有疏漏，望指教。

         以下逐一道来。

1、正交性

• 向量正交：如果两个向量的内积为零，则两个向量正交，即。

• 子空间正交：给定两个子空间S、T，若S中的所有向量与T中的所有向量都正交，则称子空间S和T正交。

• 正交补(Orthogonal complement)：子空间V的正交补是一个包含了所有与V正交的向量的子空间，记作。

        这一小节的核心是要说明上一章提到的4个基本子空间的正交关系：

        矩阵A的零空间是其行空间的正交补，即   (in ) 。

        矩阵A的左零空间是其列空间的正交补，即  (in )。

        首先我们来说明正交性：为什么。

        由于是矩阵A的零空间，我们有 Ax=0，即：

         可见x与行向量的内积都是0，因此它与所有行向量的线性组合都是正交的，得证。