线性代数 -- 正交向量与子空间

什么是向量的正交？

正交是垂直的另外一种说法， 两个向量正交就是说两个向量垂直

怎么判断两个向量是否正交（条件）？

可以通过做一个点乘来判断， X^Ty=0, 如果这个式子成立， 那么就说明x， y两个向量正交， 那么这个方法可以推广到n维吗？ 可以

为什么这个方法可以判断呢？

如果三角形是直角三角形时， 有|x|2 + |y|2 = |(x+y)|2， 也就是x^Tx+y^Ty=(x+y)^T(x+y), 由于X^Ty与y^Tx结果是一样的， 所以最后可以得到：2X^Ty=0, 所以就证明了上面的结论

零向量与任何向量正交

---

子空间的正交

子空间S与子空间T正交是什么意思？

两个空间正交首先满足不是和零空间正交。

这个意味着S中的每个向量都和T中的每个向量正交。

行空间正交与零空间， 为什么？

零空间是Ax=0的解， 通过这个矩阵， 我们已经知道了零空间与矩阵的各行正交。但是行空间并不是由矩阵的各行组成的， 还包括矩阵的行的线性组合。 接下来的目标就是证明各行的线性组合还是与零空间垂直， c1*row1*x + c2*row2*x + …… = 0 -》（c1*row1 + c2*row2 + ……）*x = 0, 显然成立。所以行空间正交与零空间， 这两个子空间的维数等于这个空间的维数， 这种情况称为n维空间里面的正交补

行空间与零空间为正交补， 那么零空间中包含所有所有（不是部分）垂直于行空间的向量

---

如何求一个无解方程的解

这个问题看起来不可思议， 但是其实是很常见的。 当Ax=b无解时， 怎么求解。这里指的是b不在A的列空间里面时， 如果A是长方矩阵， 这个问题就是很常见。 长方矩阵就是m>n的矩阵， 这种矩阵可以肯定秩r不是m。

这里有个例子， 当你为体检者检测脉搏， 脉搏频率是一个未知数， 为了确定脉搏频率， 你只要测量一次就可以了， 但是如果你要得到更为准确的数据， 你就要测量多次， 但是可能会存在一个误差很大的“坏数据”， 当方程很多时， 右侧难免会混入“坏数据”， 这样方程组就解不出来LED， 因为我们甚至不知道b中的哪个数据是“坏数据”， 我们要做的就是把“坏数据”筛选出来， 这就是线性代数要解决的问题， 求出这个“最优解”。

那我们得到一些方程， 如何求出它们的最优解呢？

一个方法是不断去掉一些方程， 知道剩下一个可逆的方阵， 然后求出它的解， 但是这个方法并不好。 那我们遇到这种情况该怎么解决呢？ 答案是利用一个重要的方法：A^TA。

当求解一个Ax=b方程组时， 可以先通过消元法判断方程组是不是有解， 当方程组无解时， 利用上面那个重要方法， 在方程两边同时乘以A^T：A^T*Ax=b*A^T, 得到这样一个方程。 如果A^T*A是可逆的话， 那么A^T*A的结果一定是一个方阵。 那么什么时候A^T*A可逆呢？当且仅当零空间里面只有零向量， 即A得到各列线性无关时， 才可逆。 此时A^T*A的秩与A的秩是一样的， 解A^T*Ax=b*A^T这个方程组， 得到x的值，这个解并不是原方程Ax=b的解， 因为原方程是无解的， 所以这个解只能算是原方程解的最优解

---

总结：

整篇文章主要讨论了向量正交， 子空间正交和怎么求解一个无解方程组

1. 向量正交部分包括：怎么判断两个向量是否正交， 以及为什么可以这么判断。
2. 子空间正交： 首先说明了不是和零空间正交， 子空间正交的含义是S空间中的每一个向量都和T空间中的向量正交。 一个重要的结论行空间与零空间正交
3. 求解一个无解方程组是找出它的最优解：Ax=b方程解法是在方程两边同时乘以A^T：A^T*Ax=b*A^T, 然后求解这个x， 这个x就是原方程的最优解。 记住两个重要的结论：A的秩与A^TA是一致的， 当且仅当零空间里面只有零向量， 即A得到各列线性无关时， 才可逆。关于这个问题以后还会继续讨论。