最小二乘法

在学习线性代数的时候，我们都会先从线性方程组入手。求解一个线性方程组是否存在解，如果存在解，那么有多少解，比方说求解下面这个方程组

先别急着掏出纸和笔进行运算。在线性代数中, 这类线性方程组更常见的表述方式为

其中，A是系数矩阵，x和b都是向量。在R语言中，这个方程组可以通过solve函数求解

A <- matrix(c(1,-1,-2,-2), ncol = 2)
b <- c(-1,3)
solve(A,b) 
# -2.0 -0.5

如果方程组有解或者无数解，那么我们称方程组是相容的，反之则是不相容。

对于不相容的方程，我们无法求解出一个x使得等式成立，也就是下图的Ax和b不在一个平面上。因此只能找到一个x，让Ax尽可能b和接近，即求解一个x使得最小。也就是最小, 也就是最小， 这也就是术语最小二乘法( least squares method, 也称之为最小平方法 )的来源。

几何意义