最小二乘法解的矩阵形式推导

最小二乘法解的矩阵形式推导

首先，什么是最小二乘？
维基百科给出了一个定义，戳这里

在我看来，最小二乘法是一种数据拟合方法。

我们从矩阵的角度来理解：
首先我们给出一个矩阵中的定义：

$$R(A)=\{Ax|x\in{R^n}\}{,}{A\in{R^{n\times{n}}}}$$
有了上面的定义之后，我们就可以写出最小二乘问题的矩阵形式：
$$\exists{b}\not\in{R(A)}{,}{b}\in{R^n}{,}\min_{{x}\in{R^n} }{\lVert{Ax-b}\rVert}_{2}$$
用bi格高一点的说法来说，就是求在欧几里得空间中以2-范数作为距离，使得向量Ax与b之间距离最小的x。
我们的目标是求：