线性代数矩阵的投影

假设有Ax = b; 这个矩阵方程 ，可能存在b向量无法用A的列向量表示的情况， 在这种情况下，方程是无解的，也就是b向量不在A的列向量所构成的子空间中。在工程应用中，这种情况是经常出现的，比如说在统计中，我们收集了一大堆的样本点集（x,y），我们在坐标系中画出了这些点，我们希望有一条拟合直线y = ax + b; 来拟合这些样本点。那么问题就是，如何求出最好的系数a,b使得这条直线使得大部分的样本点落在直线的附近。当我们把这些点带入y = ax+b的时候，我们会得到非常多的方程组，比如我们有如下的方程组: 2 = 3*a + 1*b; 3 = 2 * a + 1*b ; 1 = 5*a + 1*b...... 那么我们就得到一个矩阵方程，这个矩阵中有两个m维的列空间（m取决于你的样本个数）,而所有的y构成一个列向量c，问题就转化为了  是否存在列空间的一种线性组合（也就是a,b的值），使得列向量c 能够用这两个向量线性表示。在大部分情况下，是无解的，也就是c不在这两个列向量构成的子空间中， 那么无解的情况下，我们是否能够找出最优解？？也就是最接近的解？ 答案是可以的， 问题就转化为了在这两个向量构成的子空间中，哪一条向量能够最接近的表示向量c，显然，由空间解析几何的知识，我们很容易得到的是 用c在该列空间的投影向量来表示这个c。所有这就使得我们开始研究矩阵的投影问题。