伪逆,左逆矩阵的意义和计算

矩阵伪逆
A 是$m\times n$矩阵,伪逆$A^{+}$是$n\times m$矩阵
它满足 $A^{+}Ax=x$

它的意义是当A把x变到它的列空间里面,伪逆再把x变回来

下面是它的计算方式

• $A^{+}=V{\Sigma }^{+}{U}^T$

A的奇异值分解是$U\Sigma V^T$
这里的${\Sigma }^{+}$是$\Sigma$的转置再对非0元素取倒数, ${\Sigma }^{+}\Sigma =\left[\begin{array}{ccccc}1& 0& 0& 0& ...\\ 0& 1& 0& 0& ...\\ 0& 0& 1& 0& ...\\ ...& 0& 0& 0& 0\end{array}\right]$

$A^{+}Ax=V{\Sigma }^{+}{U}^{T}U\Sigma V^T=V\left[\begin{array}{ccccc}1& 0& 0& 0& ...\\ 0& 1& 0& 0& ...\\ 0& 0& 1& 0& ...\\ ...& 0& 0& 0& 0\end{array}\right]V^{T}x=x$

我们知道奇异值分解有几何意义,如果中间的$\Sigma$对角上存在0,说明有维度在拉伸的时候直接被变成0,相当于降维了,因此Ax本身就是对x的有损压缩,这时的$A^{+}$的意义就是把有损压缩的$x$尽量还原,所以还原后的$x$实际上不一定与原本的$x$一样,因此伪逆我们可以认为是有损的逆

另外当A列独立时,伪逆有新的求法,它叫左逆$A^L$列满秩意味着$A^{T}A$是可逆的,
这时候$A^L=(A^{T}A{)}^{-1}{A}^T$
因为$A^{L}Ax=(A^{T}A{)}^{-1}{A}^{T}Ax=x$,这就是无损变换还原,但是它只能是放左边,因此叫左逆,类似的行独立也有右逆

实际上左逆满足$A^{L}A=E$

需要注意的是左逆其实奇异值分解版本那个逆的特化,因为如果列独立,那么奇异值分解得到的对角矩阵也是列满秩的,中间${\Sigma }^{+}\Sigma$项是单位矩阵,所以也是无损的,因此通用的伪逆用奇异值分解求即可,它统合了左逆右逆