超定线性方程组最小二乘解推导

超定线性方程组

定义

  超定方程组是指方程个数大于未知量个数的方程组。对于方程组$Ra=y$，$R$为$m\times n$的矩阵，如果$R$列满秩，且$m>n$，则方程组没有精确解，此时称方程组为超定方程组。即任意$x_1,x_2,\dots ,x_n$都不可能使${\sum }_{i=1}^m(a_{i1}{x}_1+a_{i2}{x}_2+\cdots +a_{in}{x}_n-b_i{)}^2=0$。

超定线性方程组的解

  超定方程一般是不存在解的矛盾方程。

  例如，如果给定的三点不在一条直线上， 我们将无法得到这样一条直线，使得这条直线同时经过给定这三个点。 也就是说给定的条件(限制)过于严格， 导致解不存在。在实验数据处理和曲线拟合问题中，求解超定方程组非常普遍。比较常用的方法是最小二乘法，形象的说，就是在无法完全满足给定的这些条件的情况下，求一个最接近的解。

  曲线拟合是最小二乘法要解决的问题，实际上就是求以上超定方程组的最小二乘解的问题。

  如果有向量$(x_1^0,x_2^0,\dots ,x_n^0{)}^T$使得 ∑ i = 1 m ( a i 1 x 1 + a i 2 x 2 + ⋯ + a i n x n − b i ) 2 \sum^m_{i=1} \left( a_{i1}x_1 + a_{i2}x_2 + \dots + a_{in}x_n - b_i \right)^2 ∑