如何将一个向量投影到一个平面上_线性代数笔记（15-16）投影、投影矩阵和最小二乘...

投影（Projection）

上图为二维平面的投影。其中p是b在a方向上的投影，则有：

（1）

（2）

（3）

(正交)

因此可得

进而可得

（P为矩阵：Ax=b的形式，bp均为向量，则A为矩阵）

其中

就是说一个向量b在a方向的投影可写作一个与a有关的矩阵左乘b的形式。

至此，我们得到了本讲的一个重要的矩阵P。P的特殊性质：

为什么进行投影操作

上一讲讲到的，当

无解的时候，如何求近似解的情况。

没有解，也就是说b不在A的列空间里，所以，如果为了尽量减少对原本方程的影响，我们可以将b映射到A的列空间里， 这样方程就有解了。

例如，以三维空间的平面为例求解无解的

因为Ax=b无解，所以，rank(A) <3，假设rank(A)=2。假设b=p+e，则要将b拆分成两个部分，一个是A的列空间内的部分p，一个是垂直于A的列空间（左零空间）的部分e。

因为A的列空间维数为2（rank(A)=2），假设其一组基底为

。可以理解为A的列空间为平面，a1=(1,0,0),a2=(0,1,0)。则有

考虑e垂直于A的列空间，且

则有

与上述二维平面的结论一致；且说明了e垂直于A的列空间

,e位于

中。

进一步推导：

并带入

则有

则有

显然

也有特殊的性质：

投影矩阵

定义

是向量投影在向量空间

的分向量，称

为投影矩阵，作用是将某个向量投影到一个向量空间中，例如：

表示将

投影到

的列空间中。

性质：

（1）若

在

中，则

（2）若

正交于

，则

最小二乘法（Least Square）

假设有三个数据点（1,1)（2,2）(3,2）我们要找到一条直线尽可能的描述这三个点，设最优直线为

则有

可以写成矩阵形式

显然该方程组无解，但可以利用最小二乘法公式：

进行求解，该方程组有解，且为最优解。在求解最优直线

后，可以根据

求出

在

空间内的分量，并根据

求出线性组合的误差值

。