最小二乘法-矩阵角度

勿在浮沙筑高台

$A$x=b

• $A\in\mathbb{R}^{m\times n},\ m \gt n$
  • 我们不能期望找到一个 x ，x$\in \mathbb{R}^n$, 使得$A$x=b ;

  注：这里的矩阵A相当于线性模型中的输入，x相当于系数

考虑这样一组方程式:

$$\begin{align} &x_1+x_2=3\\ &-2x_1+3x_2=1\\ &2x_1-x_2=2\\ \end{align}$$
我们需要求解$x_1,x_2$。
$$\begin{pmatrix} 1 & 1 \\ -2 & 3 \\ 2 & -1 \end{pmatrix} = \begin{pmatrix} 3\\1\\2\\ \end{pmatrix} \\ $$
我们做一个行变换
$$\begin{pmatrix} 1 & 1 \\ 0 & 10 \\ 0 & 0 \end{pmatrix} = \begin{pmatrix} 3\\14\\-1\\ \end{pmatrix} \\$$
发现其实是没有解的，如果我们选择只满足一二行的解，有
$$x_1=\frac{8}{5},x_2=\frac{7}{5}$$
把这个解带回原方程，可以算出新的结果为
$$b_1= \begin{pmatrix} 3\\1\\\frac{9}{5}\\ \end{pmatrix}$$
$b_0和b_1$之间的距离为$||b_0-b_1||^2=\frac{1}{25}$

最小二乘法的解法如下:

$$A^TAx=A^Tb$$
等价于：
$$\hat x = (A^TA)^{-1}A^Tb$$
我们尝试使用最小二乘法求解：

$$\begin{pmatrix} 9 & -7 \\ -7 & 11 \end{pmatrix} \begin{pmatrix} x_1 \\ x_2\end{pmatrix} = \begin{pmatrix} 5\\4\\ \end{pmatrix} \\ $$
求得 ：
$$x_1=\frac{83}{50},x_2=\frac{71}{50}$$
$$b_1= \begin{pmatrix} \frac{154}{50}\\\frac{47}{50}\\\frac{95}{50}\\ \end{pmatrix}$$
$$||b_0-b_1||^2= (\frac{4}{50})^2+(\frac{3}{50})^2+(\frac{5}{50}^2)$$
可以看出新生成的解与原向量的距离较短。

这其实是两个方向，一个是

• 方程的解满足大部分的方程；
• 方程的解使得新生成的向量与原来的向量距离最短；；

下面我们从矩阵的角度来看最小二乘法
以上述表达式为例

$$r(x)=b-Ax$$
b和Ax之间的距离可以表示为
$$||b-Ax||=||r(x)||$$

假设$\hat x$是我们要寻找的解，那么令$p=A\hat x$，那么b是在A的列空间里离$b$最近的的一个向量。实际上 $p$ 是 $b$ 在 $R(A)$的投影。

未完，待续。。。。