超定方程组及其求解方法

超定方程组是指方程个数大于未知量个数的方程组，不存在解。

对于方程组Ra=y，R为n×m矩阵，如果R列满秩，且n>m。则方程组没有精确解，此时称方程组为超定方程组。

例如，如果给定的三点不在一条直线上， 我们将无法得到这样一条直线，使得这条直线同时经过给定这三个点。 也就是说给定的条件（限制）过于严格， 导致解不存在。在实验数据处理和曲线拟合问题中，求解超定方程组非常普遍。比较常用的方法是最小二乘法。形象的说，就是在无法完全满足给定的这些条件的情况下，求一个最接近的解。

曲线拟合是最小二乘法要解决的问题，实际上就是求以上超定方程组的最小二乘解的问题。

如果有向量a使得下式的值达到最小，则称a为上述超定方程的最小二乘解。

在MATLAB里面有三种方法求解超定方程组，一是用伪逆法求解，x=pinv(A)*b；二是用左除法求解，x=Ab；三是用最小二乘法求解。

最小二乘解的存在性和唯一性

方程组有精确解，则称为是相容的，其充要条件是rank(R)=rank(R,y)。设rank(R)=r>0，则总存在分解R=FG，即满秩分解。

定理1

方程组必存在最小二乘解，且a是方程组的最小二乘解的充要条件是a是RT·R·a=RT·y的解。

定理2

若rank(R)=r<m，则方程组有无穷多个最小二乘解，其中2-范数最小的解称为方程组的极小最小二乘解，且该解是唯一的，为a'=GT(GGT)-1(FTF)-1FTy

定理3

若rank(R)=m<=n，以上超定方程组存在唯一最小二乘解，解为: