最小二乘解(伪逆求解)

最小二乘解公式推导

给出AX 和 b（注意没有等号） ，对残差求导等于0，最小二乘解满足ATAx -ATb = 0。
即求解ATAx = ATb

最小二乘解实战

深度理解（反向推理有时候有歧义）

我们有Ax 和b  ，想得到最小二乘解，相当于求解ATAx = ATb这个正规矩阵的方程

1、则ATA满秩，ATA可逆，可直接求得唯一最小二乘解。

        反向推理：AX  和 b，假如有唯一解，如果A不是方阵，所以不能用x = A^-1b求得唯一解

2、则ATA不满秩，ATA奇异(不可逆)，则可以用化标准型方式求解ATAx = ATb。（最小而二乘解有多个）
或者直接用x = A伪逆b，得到的也是最小二乘解。满足ATAx = ATb

伪逆如下

反向推理验证。如果AX 和 b原本有无穷多解，

3、ATAx = ATb一定有解！AX 和b之间的最小二乘解一定存在。A的伪逆一定存在