线性代数 -- 子空间的投影（二）

前面已经讲过了一维， 这样主要谈谈高维（三维）。

高维

以三维为例。

在三维空间中， 有一个有a1， a2确定的平面， 有不在平面中的b向量。 通过b向量做垂线交平面于p点， 将这个垂线记为向量e， e=b-p。 由前面可知， 该平面是某个矩阵的列空间， 这个矩阵是以a1，a2为列的一个矩阵， 因为只有这样才能保证列空间正好是这个平面。将这个矩阵记为A， 那么p=Ax。 所以e=b-Ax。

因为e=b-Ax是垂直于这个平面的， 所以它一定垂直于a1， a2（因为a1， a2都在平面中且线性无关）， 当然也垂直于b在平面的投影。 通过这点就可以列出两个方程：a1^T(b-Ax)=0, a2^T(b-Ax)=0。 能不能用矩阵来表示呢？

这就是方程的矩阵形式， 也就是：A^T(b-Ax)=0, 仔细看一些这个方程， 它和一维的区别就是将a换成了A， 本质都是两个向量垂直的积为零。 还有因为A^T(b-Ax)=0， 所以e（就是b-Ax）位于A^T的零空间中， 根据子空间的关系， 零空间是正交与列空间的， 所以e垂直于A^T的列空间。

下面我们可以开始解方程了， 经过变换可以得到：A^Tb=A^TAx， A^TA是一个n*n 矩阵。 x=（A^Tb）/（A^TA）， 这就是x的解。

那么投影呢？ 投影 p = Ax = A（A^Tb）/（A^TA），此时的 P=A(A^TA)^-1A, 我们试着把这个式子化简， 结果是单位矩阵， 这应该出问题了； 问题出在哪里呢？ 可逆的前提是方阵， 但是A不一定是方阵， 所以不能这么化简； 如果A是一个方阵， 那么会变成什么样子呢？ A是方阵， 那么A的列空间就是整个n维空间， 投影矩阵P=I。 但是如果是投影到子空间不允许这么做

投影矩阵的性质有哪些呢？ 它是一个对称矩阵， 即P^T=P, 还有P²=P。

当我们遇到一个方程组，有太多的方程，未知数却只有几个，现在我们要求它的最优解。假设有三个点（1,1），（2,2），（3,2），这三个点拟合直线b=C+Dt， 可以得到三个方程并且化成矩阵形式：

对于这个矩阵来说， Ax、b都已经非常明显了。 这个矩阵是无解的， 但是我们可以求出它的最优解， 还记得方法吗？ 方程两边同时乘以A^T， 得到A^TAx=A^Tb, 这个解解得的x就是Ax=p的解， 同时也是Ax=b的最优解。 这就是为什么要乘以A^T