空间映射:
回顾前两篇讲解的内容:若有解,则
位于
的列空间中,反之,则不在列空间中。针对无解的情况,虽然找不到一个
使得
,但是可以找到一个
使得
,误差记作
。几何展示如下:
若存在一个矩阵的列空间是上图所示的平面,而向量
不在列空间内,则
无解,但是我们可以找到一个
,可以假设
,则误差为
,且
。不难看出,当
垂直于平面时, 误差
最小。那么如何得到
呢?设列空间的基底为
,
,则原矩阵
(这里有点不严谨,列空间的基底向量可能不止2个,但不影响接下来的计算理解) 。
于是有: ,x为任意实数,或者:
。 ①
接下来有: ,注意:误差为
,基底为
,
。 ②
同时垂直于列空间所在的平面,有:
,注意这是向量点乘,简写为:
。 ③
把②式带入③中: ,得出
。
必定可逆。 ④
所以为:
⑤
设,则有
,(
为投影矩阵) ⑥
利用上述公式,我们可以在方程无解的情况下,在的列空间中找到一个
的近似解。
例子:假设我要根据房屋的卧室个数,预测北京的单位房价,有数据如下:
房价 (万元/平方米) | 4 | 7 | 9 |
卧室个数 | 1 | 2 | 3 |
那么请预测一下,假设一栋房子有4个卧室那么他的价格可能是多少呢?(假设房价与卧室个数,线性相关)。
构建矩阵,构造方程如下:
因此有矩阵,
,因此上述方程可以表示为:
,显然这个方程是无解的,但是我们可以找到近似解
。
,
, 则误差有:
这样就可以预测出具有4个卧室的房价的价格为: (万元/平方米)。
最小二乘:
利用上面的例子,最小二乘法为,对于,使用
,来表示统计学上的误差,并通过缩小
来找到最优解。