线性代数：空间映射和最小二乘 [下]

空间映射：

        回顾前两篇讲解的内容：若有解，则位于的列空间中，反之，则不在列空间中。针对无解的情况，虽然找不到一个使得，但是可以找到一个使得，误差记作。几何展示如下：

         若存在一个矩阵的列空间是上图所示的平面，而向量 不在列空间内，则无解，但是我们可以找到一个，可以假设，则误差为，且。不难看出，当垂直于平面时， 误差 最小。那么如何得到呢？设列空间的基底为，，则原矩阵(这里有点不严谨，列空间的基底向量可能不止2个，但不影响接下来的计算理解) 。

于是有：                                                   ，x为任意实数，或者：。                ①

接下来有：                                               ，注意：误差为，基底为，。             ②

同时垂直于列空间所在的平面，有：     ，注意这是向量点乘，简写为：。        ③

把②式带入③中：                           ，得出 。必定可逆。     ④

所以为：                                                                                        ⑤

设，则有，(为投影矩阵)                                                                                   ⑥

利用上述公式，我们可以在方程无解的情况下，在的列空间中找到一个的近似解。

---

例子：假设我要根据房屋的卧室个数，预测北京的单位房价，有数据如下：

房价  (万元/平方米)	4	7	9
卧室个数	1	2	3

那么请预测一下，假设一栋房子有4个卧室那么他的价格可能是多少呢？（假设房价与卧室个数，线性相关）。

        构建矩阵，构造方程如下：

                                

                                

                                

        因此有矩阵，，因此上述方程可以表示为：，显然这个方程是无解的，但是我们可以找到近似解。

        ，               

        ，             则误差有：  

这样就可以预测出具有4个卧室的房价的价格为： (万元/平方米)。

最小二乘：

        利用上面的例子，最小二乘法为，对于，使用，来表示统计学上的误差，并通过缩小来找到最优解。