线性代数：空间映射和最小二乘 [下]

小蜗牛冲鸭~

已于 2023-03-05 16:57:55 修改

阅读量130

点赞数

分类专栏： # 线性代数文章标签：线性代数矩阵

于 2022-11-06 21:30:28 首次发布

原文链接：https://zhuanlan.zhihu.com/p/422253969

版权

线性代数专栏收录该内容

3 篇文章 0 订阅

订阅专栏

空间映射：

回顾前两篇讲解的内容：若 $Ax=b$ 有解，则 $b$ 位于 $A$ 的列空间中，反之，则不在列空间中。针对无解的情况，虽然找不到一个 $x$ 使得 $Ax=b$ ，但是可以找到一个 $x^{*}$ 使得 $Ax^{*}\approx b$ ，误差记作 $\left | e \right |$ 。几何展示如下：

若存在一个矩阵 $A$ 的列空间是上图所示的平面，而向量 $b$ 不在列空间内，则 $Ax=b$ 无解，但是我们可以找到一个 $Ax^{*}\approx p$ ，可以假设 $p\approx b$ ，则误差为 $\left | e \right |$ ，且 $b=p+e$ 。不难看出，当 $e$ 垂直于平面时，误差 $\left | e \right |$ 最小。那么如何得到 $p$ 呢？设列空间的基底为 $e1$ ， $e2$ ，则原矩阵 $A=\left [ e1,e2\right]$ (这里有点不严谨，列空间的基底向量可能不止2个，但不影响接下来的计算理解) 。

于是有： $p=x1^{*}e1+x2^{*}e2$ ，x为任意实数，或者： $p=Ax^{*}$ 。 ①

接下来有： $e=b-p=b-Ax^{*}$ ，注意：误差为 $e$ ，基底为 $e1$ ， $e2$ 。 ②

同时 $e$ 垂直于列空间所在的平面，有： $e\cdot (e1+e2)=0$ ，注意这是向量点乘，简写为： $A^{T}e=0$ 。 ③

把②式带入③中： $A^{T}e=A^{T}(b-Ax^{*})=0$ ，得出 $A^{T}b=A^{T}Ax^{*}$ 。 $A^{T}A$ 必定可逆。 ④

所以 $x^{*}$ 为： $x^{*}=A^{-1}(A^{T})^{-1}A^{T}b=(AA^{T})^{-1}A^{T}b$ ⑤

设 $P=A(AA^{T})^{-1}A^{T}$ ，则有 $p=Pb$ ，( $P$ 为投影矩阵) ⑥

利用上述公式，我们可以在方程无解的情况下，在 $A$ 的列空间中找到一个 $b$ 的近似解。

例子：假设我要根据房屋的卧室个数，预测北京的单位房价，有数据如下：

房价 (万元/平方米)	4	7	9
卧室个数	1	2	3

那么请预测一下，假设一栋房子有4个卧室那么他的价格可能是多少呢？（假设房价与卧室个数，线性相关）。

构建矩阵 $x=\left [ x1,x2\right]^{T}$ ，构造方程如下：

$1x1+x2=4$

$2x1+x2=7$

$3x1+x2=9$

因此有矩阵 $A=\begin{bmatrix} 1 & 1\\ 2 & 1\\ 3 &1 \end{bmatrix}$ ， $b=\begin{bmatrix} 4\\ 7\\ 9 \end{bmatrix}$ ，因此上述方程可以表示为： $Ax=b$ ，显然这个方程是无解的，但是我们可以找到近似解 $x^{*}$ 。

$(AA^{^{T}})^{-1}A^{T}=\begin{bmatrix} -0.5 & 0 & 0.5\\ 1.33 & 0.33 & -0.66 \end{bmatrix}$ ， $x^{*}=(AA^{T})^{-1}A^{T}b=\begin{bmatrix} 2.5\\ 1.67 \end{bmatrix}$

$p=Pb=Ax^{*}=\begin{bmatrix} 4.167\\ 6.667\\ 9.167 \end{bmatrix}$ ，则误差有： $e=b-p=\begin{bmatrix} -0.167\\ -0.333\\ -1.667 \end{bmatrix}$

这样就可以预测出具有4个卧室的房价的价格为： $\left [4 \: 1 \right ]x^{*}=11.667$ (万元/平方米)。

最小二乘：

利用上面的例子，最小二乘法为，对于 $e=\begin{bmatrix} e1 & e2 & ... & en \end{bmatrix}^{T}$ ，使用 $error^{2}=e1^{2}+e2^{2}+...+en^{2}$ ，来表示统计学上的误差，并通过缩小 $error^{2}$ 来找到最优解。