矩阵分析之 伪逆矩阵，左逆，右逆，广义逆

前言

本篇是对于可逆矩阵的一个扩展。

伪逆

对于非方阵，或者奇异矩阵而言，没有严格定义上的逆矩阵。为了便于数值计算，定义这些矩阵具有伪逆。

左逆

对于实矩阵$A\in R^{m\times n},m\ge n$，如果$A$是列满秩矩阵，则存在矩阵$A_{left}^{-1}$使得$A_{left}^{-1}A=E$，称为$A$的左逆。

证明：
$$\begin{gathered} r(A^{T}A)=r(A)=n \\ (A^{T}A{)}^{-1}{A}^{T}A=E \\ i.e.((A^{T}A{)}^{-1}{A}^T)A=E \end{gathered}$$
$(A^{T}A{)}^{-1}{A}^T$就是$A$的一个左逆，不过左逆可能不止一个，例如：

右逆

对于实矩阵$A\in R^{m\times n},m\le n$，如果$A$是行满秩矩阵，则存在矩阵$A_{right}^{-1}$使得$A{A}_{right}^{-1}=E$，称为$A$的右逆。

证明：
$$\begin{gathered} r(A{A}^T)=r(A)=n \\ A{A}^T(A{A}^T{)}^{-1}=E \\ i.e.A(A^T(A{A}^T{)}^{-1})=E \end{gathered}$$
$A^T(A{A}^T{)}^{-1}$就是$A$的一个右逆，右逆可能也不止一个。

广义逆矩阵

对于方阵而言，非奇异矩阵具有严格的逆矩阵；对于满秩非方阵而言，至少有左逆或者右逆。

而不满秩的矩阵则没有左逆、右逆，于是定义奇异矩阵的广义逆矩阵$A^{+}$满足：
$$\begin{gathered} A{A}^{+}A=A \\ {A}^{+}A{A}^{+}=A^{+} \\ A{A}^{+}=(A{A}^{+}{)}^T \\ {A}^{+}A=(A^{+}A{)}^T \end{gathered}$$

矩阵$A\in R^{m\times n},m>n,rank(A)=r<n$的广义逆矩阵可以通过SVD获得：
$$\begin{gathered} A=U\Sigma V^T \\ {A}^{+}=V{\Sigma }^{+}{U}^T \\ \Sigma ={\left[\begin{array}{cc}{\Lambda }_{r\times r}& 0\\ 0& 0\end{array}\right]}_{m\times n},{\Sigma }^{+}={\left[\begin{array}{cc}{\Lambda }_{r\times r}^{-1}& 0\\ 0& 0\end{array}\right]}_{n\times m} \\ \Sigma {\Sigma }^{+}={\left[\begin{array}{cc}{E}_{r\times r}& 0\\ 0& 0\end{array}\right]}_{m\times m},{\Sigma }^{+}\Sigma ={\left[\begin{array}{cc}{E}_{r\times r}& 0\\ 0& 0\end{array}\right]}_{n\times n} \end{gathered}$$
广义逆是唯一的。