线性代数导论14——正交向量与子空间

本文是Gilbert Strang的线性代数导论课程笔记。课程地址： http://v.163.com/special/opencourse/daishu.html  

第十四课时：正交向量与子空间

本文讲解什么是向量的正交，什么是子空间的正交，什么是基的正交。

记住上图，四个子空间两两正交。

正交向量

在n维空间中，向量之间的夹角是90度，

判断两个向量X,Y是否正交，求乘积X^TY是否等于0，即如果X^TY=0，则X,Y正交。证明如下：

零向量与任何向量都正交。

正交子空间

如果子空间S与子空间T正交，那么S中的每个向量都和T中的每个向量正交。

举个例子，无限延伸的墙壁和垂直地面是正交子空间吗？两个平面中有很多个向量是不正交的，特别的，他们相交直线上的向量就很明显不满足。

如果两个子空间正交，那么他们必定不会交与某个非零向量。

一个平面内的某些子空间是正交的，比如零向量和平面内任意其他子空间正交。平面内两条垂直的直线子空间也是正交子空间。

行空间和零空间是将整个n维空间一分为二的两个相互正交的子空间，两个子空间的维数和为n，称为n维空间里面的正交补（行空间的正交补包含与之正交的零空间的所有）。证明：

若Ax=0存在零空间，则零空间的向量与A的乘Ax=0，则表示A的各行乘以x向量得到零向量，说明A的行向量与x是正交的，但是是否A的行空间(行空间包含这些行向量线性组合得到的所有向量)里所有的向量都与x正交呢？很明显x正交于行向量的线性组合。

列空间和左零空间是将整个m维空间一分为二的两个相互正交的子空间，两个子空间的维数和为m，称为m维空间里面的正交补。证明同上。

以三维空间为例，n=3，矩阵A如果行空间是一维的一条直线，r=1，那么dimN(A)=2，零空间就是垂直于这条直线的一个平面。实际上向量（1 2 5）是这个平面的法向量。

可以把线性代数的内容分为几个部分：

1）第一部分是线性代数的基本定理，表明四个基本子空间之间的关系，重点是研究维数；

2）第二部分的重点是在已知维数的情况下研究它们的正交性；

3）第三部分是关于它们的基，即正交基。

如何求Ax=b 一个无解的方程组的解，即当Ax=b无解时（b不在A的列空间），如何去解这个方程组。

对于长方矩阵（很多情况下是无解的，因为b很可能不能由A的列向量线性组合得到），有时候A的m方程很多，n未知数很少，这时候有些方程可能得到的结果是有很大误差的，即坏数据，即b中有一部分是坏数据，其实求出方程的解只需要一小部分方程就够了，需要做的是， 把这些”坏数据“筛选出来，这是线性代数需要解决的问题，如何去求这个解，最优解是什么。

用代数的语言来描述这个问题：我们得到一些方程（这些方程无解），如何求出它们的最优解？一种方法是不断去掉一些方程，直到剩下一个可逆的方阵，然后求出它的解。但这种方法不好判断。

更好的方法是：矩阵A是m×n的长方矩阵，那么 A^TA结果就是一个n×n的对称方阵。因此，当Ax=b这是一个坏方程时，只需要把坏方程两侧乘以A转置，就得到好方程。

注意变换之后x'是与Ax=b是不同的，我们希望新的方程组是可解的，而且这是最优解。

对于A^TA，它不一定是可逆的，A^TA的秩等于A的秩，因此A^T A的零空间等于A的零空间。（下讲证明）

N(A^TA)=N(A)

Rank(A^TA)=Rank(A)

因此可得，当且仅当A的零空间里面只有零向量（A的各列线性无关）时， A^T A可逆。