CP14.正交向量与正交子空间

1.正交向量

正交就是垂直，向量的正交：$x$与$y$正交，则$x^{T}y=y^{T}x=0$。最常见的例子就是直角三角形中的勾股定理，设长边向量为$x$，短边为$y$，斜边为$x+y$，向量的长度用$||x||=x^{T}x$表示：$$||x|{|}^2+||y|{|}^2=||x+y|{|}^2(1)$$
实例：$$x=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]，y=\left[\begin{array}{c}2\\ -1\\ 0\end{array}\right]，x+y=\left[\begin{array}{c}3\\ 1\\ 3\end{array}\right],||x|{|}^2=14,||y|{|}^2=15,||x+y|{|}^2=19$$
将式1展开：
$$x^{T}x+y^{T}y=(x+y{)}^T(x+y)=x^{T}x+x^{T}y+y^{T}x+y^{T}y$$移项可得
$$x^{T}y+y^{T}x=0$$实际上$x^{T}y$和$y^{T}x$的计算结果是一样的，因此得出：
$$2x^{T}y=0即x^{T}y=0$$

2.正交子空间

两个子空间正交，则两空间内的任意两向量都正交。黑板和地板并不是三维空间的正交子空间，他们有共线的部分，连接线同时属于两个子空间，它自己不可能垂直于自己（除非是0向量）。

2.1零空间与行空间正交关系

矩阵的零空间与行空间是正交的。矩阵$A$的行空间就是其各列的线性组合，零空间是满足$AX=0$的所有解，本质上可以写成：
$$\left[\begin{array}{c}A的第一行\\ A的第二行\\ ...\\ A的第n行\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_N\end{array}\right]=0$$
因此$A$的行空间与零空间正交，这一点从开篇图片也能看出来。矩阵的行空间和零空间实际上是把一个$R^n$空间分割成了两个正交子空间。例如矩阵：
$$A=\left[\begin{array}{ccc}1& 2& 5\\ 2& 4& 10\end{array}\right]，rank(A)=1,rank(N(A))=2$$
$$X=\left[\begin{array}{c}-2\\ 1\\ 0\end{array}\right]\left[\begin{array}{c}-5\\ 0\\ 1\end{array}\right]是它的一组解，其零空间为N(A)=c_1\left[\begin{array}{c}-2\\ 1\\ 0\end{array}\right]+c_2\left[\begin{array}{c}-5\\ 0\\ 1\end{array}\right]$$
矩阵行空间为$R(A)=c_3\left[\begin{array}{ccc}1& 2& 5\end{array}\right]$
矩阵的行空间和零空间不止是简单的正交关系，二者的维数之和是n，因此又称行空间和零空间为$R^n$空间内的正交补。

3.$A^{T}A$矩阵

如果一个方程组$AX=b$无解，意味着$b$根本不在$A$的列空间里。实际上有很多现实的例子，比如说测量一个卫星的位置，测量了一千次，而实际上可能只需要6个参数去确定卫星的实际位置；随着测量次数的增多，方程组的规模越来越大，那么$b$里面有可能混入太多的“坏数据”导致其不在$A$的列空间中。如何在无解的情况下强行去求解呢？这就需要用到$A^{T}A$
例如：
$$A=\left[\begin{array}{cc}1& 1\\ 1& 2\\ 1& 5\end{array}\right]$$，可以直接看出，$A$不满秩，所以$AX=b$无解，利用$A^{T}A$改造原方程组：
$$A^{T}A\hat{X}=A^{T}b$$
值得一提的是，改造过后的解，已经跟原来的解不是一个东西了，所以用$\hat{X}$来表示。
$$A^{T}A=\left[\begin{array}{cc}3& 8\\ 8& 30\end{array}\right]$$很明显这是一个可逆矩阵，因此可以求解方程组了。但$A^{T}A$并不是总能得到可逆矩阵，例如：
$$A=\left[\begin{array}{cc}1& 3\\ 1& 3\\ 1& 3\end{array}\right]，A^{T}A=\left[\begin{array}{cc}3& 9\\ 9& 27\end{array}\right]$$这并不是一个可逆矩阵，因此方程组仍然无解。从上面的例子可以看出，当$A$的列是无关组时，才可以使用$A^{T}A$构造可逆矩阵。