Moore-Penrose伪逆

Moore-Penrose伪逆

1. 作用

对于方程Ax = y, 如果A可逆，我们可以求得 $x = A^{-1} y$；当矩阵A的行数大于列数，那么方程可能没有解。当行数小于列数时，存在多个解。

此时，使用Moore-Penrose 伪逆(Moore-Penrose pseudoinverse)用来解决这类问题，来求得一个x，使得Ax和y的欧几里得距离最小。

2. 求法

矩阵A的伪逆定义为： $A^+ = \lim_{a\to 0} {(A^T A + \alpha I)}^{-1} A^T$;

但是计算的时候，使用的是： $A^+ = V D^+ U^T$。这里的U、D和V是矩阵A奇异值分解后得到的矩阵。对角矩阵D的伪逆$D^+$是其非零元素取倒数之后再转置得到的。

当矩阵A的列数多余行数时，可以使用很多方法求解线性方程，当然也可以使用伪逆。$x = A^+y$是方程所有可行解中欧几里得范数$\Vert x \Vert_2$最小的一个。

当矩阵A的行数多于列数时，可能没有解。在这种情况下，通过伪逆得到的x使得Ax和y的欧几里得距离$\Vert Ax - y \Vert _2$最小。