最小二乘法的求解

1.最小二乘法的求解

已知有一个这样的方程组：

$Ax=b$

其中$A \in R^{m×n}$ ; $x \in R^{n×k}$, $b \in R^{m×k}$

当 $m=n$ 时，且 $ranA = n$ 时，这是一个适定方程组，有唯一解 $x = A^{-1}b$

当 $m<n$ 时，或者 $ranA<n$ 时，这是一个欠定方程组，有无穷多个解。对于这种情况，我们使用 $ran(A)$ 中与 $b$ 距离最近的向量对应的 $x$ 作为最小二乘解。而相应的 $ran(A)$ 中的这个向量就是 $b$ 在空间 $ran(A)$ 中的投影。

当 $m>n$ 时，即方程的个数大于未知数的个数，最小二乘超定系统问题。

超定问题是最小二乘的关键，最小二乘的的意思就是最小化残差(residual)的平方和。

给定 $m$ 个数据，$(a_1, b_1)$, $(a_2,b_2)$,…,$(a_m, b_m)$, 以及一个模型函数