最小二乘法与伪逆矩阵

一、简介

        最小二乘法是一种数学优化技术。通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并是得这些求得的数据与实际数据之间误差的平方和最小。

二、最小二乘法拟合直线的原理

        1）假设存在n个坐标点，他们的坐标在笛卡尔坐标系下可以表示为：

        最小二乘法拟合直线，就是要找到一条直线L，使得这n个点与直线L的距离残差平方和最小。

        2）假设存在一条直线L1，采用斜截式（不可以描述与x轴垂直的直线）描述该直线方程为：

        由于两点确定一条直线，因此为了确定这一直线方程，至少需要两组数据（即n=2），但是这样的直线对于实际的测量是不准确的，当n>2的时候在理论上求解因为条件超出了方程未知数，因此是无解的，所以叫做超定方程。由于理论值为：

        将单点数据代入，残差即为：

        根据最小二乘方程可知：

        其实这里应该证明上述公式是否存在最小值，根据方程可以看出，对于单变量而言，这是一个开口向上的抛物线。为例求解方程的最小值，一种方法是对方程进行求导，导数为0的地方就是极值，对于抛物线方程而言也就是最值。这里的变量有两个，一个是k另一个是b，因此对该方程求偏导：

        将上式进行展开：

        记：

        得：

三、伪逆矩阵

        1）矩阵的秩

        对于矩阵A，如果存在一个矩阵B，使得AB=BA=E，其中E为与A，B同维数的单位阵，就称A为可逆矩阵（或者称A可逆），并称B是A的逆矩阵。

        2）矩阵的伪逆

        奇异矩阵（行列式等于0的方阵）和非方阵没有逆矩阵，但可以有伪逆矩阵。

        满足，但不满足的矩阵称为矩阵A的左逆矩阵。类似地，满足，但不满足的矩阵称为矩阵A的右逆矩阵。

        仅当时，列满秩，矩阵有左逆矩阵，；

        当时，行满秩，矩阵有右逆矩阵，；

        当时，的秩为，对A进行奇异值分解；

        A的逆矩阵为。

四、广义逆矩阵

        1）当时，此时A有左逆矩阵，且；

        2）当时，此时A有右逆矩阵，且；

        3）伪逆矩阵与最小二乘法之间的关系：

        记，要使取到极值，则需要。

        对求偏导：

        令：

        则：

五、伪逆矩阵意义

        对于n元线性方程组AX=B，其解有三种情况：解唯一、无穷解、无解。

        1）线性方程组有无穷解时，必有R(A)=R(AB)<n，A行满秩。线性方程的个数小于变量的个数，因此有无穷解，但是要找到一个到原点最近距离的点则是唯一的，即最小范数解：

        是右逆矩阵。是所有满足AX=B的解中最靠近原点的。 

        2）线性方程组无解时，必有。因为B不在A的列空间中，此时只能在A的列空间找到唯一一个B之间的欧氏距离最小的，。是可以使范数最小化的解。

        满足条件：

        不是传统意义上的解，因为不满足AX=B。

        构造：

        是左逆矩阵。是可使最小化的近似解。

        可以看出，欧氏空间的范数在伪逆的求解中起到度量误差和度量长度的限制作用，伪逆矩阵是在满足几何约束的条件下的最优解，这也是伪逆矩阵的意义所在，例如在最小能量系统中，可使用伪逆求得问题的最优解。