子空间投影



分类： 线性代数

首先我们可以通过上图了解投影在二维空间R²中是怎么回事，现有向量a和b，将b向量投影到a向量，p为b在a上的投影，即p是a上离b最近的点，e=b-p这好比b与p之间的误差，这个误差与a相互垂直，根据垂直关系我们可以列出方程，投影p是a的倍数，所以p=xa，这个x是一个标量，a垂直于e，也就是说 ，将式子作一些变形得到 ，则，投影 ，从投影p的式子可以看出，若b变成了两倍，投影p也会变成2倍，若a变成了两倍，则投影p保持不变。仔细观察投影p的这个式子， 是一个矩阵，b向量经过这个矩阵后得到了其投影p，所以投影是通过矩阵完成的，我们将该矩阵称为投影矩阵（projection matrix），换句话说，投影就是某个矩阵，作用在b上面，使我们得到投影p，从公式中可看出，投影矩阵（注意这里是大写P，不要与前面的投影小写p混淆），下面讨论一下投影矩阵P的性质，第一点，先说说列空间，用任何向量b乘以投影矩阵，结果总在投影矩阵的列空间里，因为b给出了对其列的线性组合，而我们又知道任何向量b乘以投影空间总在向量a上，因此投影矩阵p的列空间，是通过a的一条线，列空间维数是1，投影矩阵的秩是1；第二点，投影矩阵是对称的，因为 ，第三点，若是做两次投影，即将b投到a上，然后再将p（小写p，表投影）向a投一次，所以得到的还是p，这意味着P²=P（大写P，表投影矩阵），我们最好记住上面的3个公式，即x的公式，投影p的公式p=ax，投影矩阵P的公式。

下面从二维空间R²推广到高维空间Rⁿ的情况，在这之前，我们需要讨论一下为什么要投影。

在上一篇中我们稍微提了一下Ax=b无解的情况，当无解时我们只能求解最接近的那个可解问题来求原方程的最优解，即要将b作调整，使其变成A的列空间中最接近b的那个向量，那么怎样才算是最接近的呢？这就要将b向A的列空间投影得到p，因为p在列空间中，因此Ax=p是有解的，这就是为什么要作投影，可以用来解决方程无解的情况。为了理解方便，接下来我主要以三维情况为例，但是要知道更高维和三维本质上是一样的。假设有三维中的一个平面和一个不在平面上的向量b，现在要将b投影在平面上，平面有两个基向量a1和a2，它们线性无关，回想下和方程组的联系，可知这个平面是矩阵A的列空间，即，当然矩阵A可以是两列，也可以是n列，这里写成两列，投影p是基向量的组合，即 ，写成矩阵的形式即  ，根据误差向量 垂直于平面，我们可得出等式，e垂直于平面的意思就是e分别垂直于两个基向量a1和a2，因此分别得到 ，将两个方程合并成矩阵形式，，即 ，对比可发现平面上的投影方程和直线上的投影方程很相似，同样对其进行变形，将其改写为 ，则 ，投影 ，投影矩阵  ，这个公式看起来很复杂，根据乘积的逆等于各自逆的反顺序相乘，可得到 ，问题出现了，为什么会这样呢？不应该投影矩阵算出来始终为I的，一定要注意因为A不是方阵（我们讨论的是Ax=b无解的情况，因此A不是方阵），所以A的逆不存在，所以 不能化简，我们做的这种变换是不成立的，只有A为可逆阵时才允许做后面的这一步变换，但是我们可以看一下当A是可逆阵时这个式子表示的含义：如果A是n*n可逆方阵，那么它的列空间是整个Rⁿ，因为其对于所有的b均有解，既然b已经在列空间中，那么投影矩阵P是单位阵也无可厚非了。关于x，投影p，投影矩阵P的3个公式最好也记住。同样对于投影矩阵P，我们讨论一下其性质：第一点，投影矩阵仍然是对称阵，将P进行转置即可得出结论；第二点，P²=P，即进行第二次投影时还是会投影在第一次投影的地方，接下来我们简单看看投影思想在最小二乘法中的应用。

当我们遇到一个方程组，有太多的方程，未知数却只有几个，现在我们要求它的最优解。假设有三个点（1,1），（2,2），（3,2），这三个点拟合直线b=C+Dt，首先我们要建立矩阵A，只要找到A，我们就能使用上面推导的那些公式，C+D=1，C+2D=2，C+3D=2，所以对于这个例子，对应的无解方程Ax=b为，所谓的最优解并不是这个方程的解，而是Ax=p的解，即 的解，所以现在知道为什么上一篇中说当Ax=b无解时，只要在方程两侧同乘A^T后方程就可解了吧。