子空间投影

一、二维平面下的投影

 表示列向量。

 为  向量在  向量上的投影,。

 =  

所以有：  ， 变换后可得    ==>  

所以    , 则 记投影矩阵 为  , 所以   。

 分母是一个数，分子为列向量乘以行向量，故分子为矩阵。所以 是个矩阵（投影矩阵）。

由于  的结果在的列空间里， 的秩为1，其列空间是通过向量的直线。

矩阵 的性质：

（1）

（2） （表示两次投影结果不变）

 

二、三维平面的投影

1、应用背景

在求解  ( 式1)这个方程时，其可能无解，此时需要找到最优解。

因为   总是在 的列空间中，若式（1）无解，则表示  不在矩阵  的列空间里面。此时我们希望能够找到在  的列空间中，并且尽可能与  接近的那个向量作为我们的解。

( 如果在 的 列空间里面， 那么投影为  自己)

2、找到向量  在  的列空间的投影  即为距离  最近的并且在  的列空间中的解，即

 ,此时组合系数变为。

 

如图：其中 表示 在 的列空间中的一组基（线性无关）

此时可以表示为     。

如图 :  。 其中， 为 误差向量。

所以有：  ,    ，写成矩阵形式如下：

   == >  (式2)

 在  的null space(零空间里) 即 e in N()，由四个基本空间的关系得知， 垂直与  的列空间。

由式(2）得： 

所以 

注意，    (式3)一般情况是不能拆解的，因为 不一定是可逆矩阵。

事实上，如果 为nxn的可逆矩阵的时候上式3为 单位矩阵， 意味着 用单位阵对进行投影，因为单位阵是在 空间中，并非其子空间，这里我们要投影到的子空间，这显然是不可以的。

矩阵 的性质：

（1）

（2） （表示两次投影结果不变）