矩阵的逆、广义逆

1. 矩阵的逆

定义：对矩阵$A$，若存在矩阵$B$使得$AB=BA=I$，则$B$唯一，称之为矩阵的逆，记为$A^{-1}$。

矩阵的逆具有如下基本性质：

(i) $A^{-1}$存在当且仅当$|A|\ne 0$。

证明：若$A^{-1}$存在，对$A{A}^{-1}=E$两边取行列式，得$|A||A^{-1}|=|E|=1$，因而$|A|\ne 0$。

当$|A|\ne 0$时，由行列式按一行展开的公式知$A{A}^{\ast }=A^{\ast }A=|A|E$，可写$$A(\frac{1}{|A|}{A}^{\ast })=(\frac{1}{|A|}{A}^{\ast })A=E$$
即得$A^{-1}=\frac{A^{\ast }}{|A|}$。%$A^{-1}$存在。

(ii) $(A^{\prime }{)}^{-1}=(A^{-1}{)}^{\prime }$。

证明：由$A{A}^{-1}=A^{-1}A=E$两边取转置：$$(A^{-1}{)}^{\prime }{A}^{\prime }=A^{\prime }(A^{-1}{)}^{\prime }=E^{\prime }=E$$于是$(A^{\prime }{)}^{-1}=(A^{-1}{)}^{\prime }$。

(iii) $(cA{)}^{-1}=c^{-1}{A}^{-1}$，其中$c$为非零实数。

(iv)$(AB{)}^{-1}=B^{-1}{A}^{-1}$，如果$A^{-1}$和$B^{-1}$都存在。

证明：由$(AB)(B^{-1}{A}^{-1})=(B^{-1}{A}^{-1})(AB)=E$即得。

(v)$$diag(a_1,...,a_n{)}^{-1}=diag(a_1^{-1},...,a_n^{-1})$$
更一般地，如果$A$是分块对角阵，$A=diag(A_1,...,A_k)$，其中$A_j,1\le j\le k$非奇异，即$|A_j|\ne 0,1\le j\le k$，则$A^{-1}=diag(A_1^{-1},...,A_k^{-1})$。

(vi) 对于任意的$n\times n$阶非奇异阵$A$，$n\times q$阶矩阵$U$，$q\times n$阶矩阵$V$，有
$$(A+UV{)}^{-1}=A^{-1}-A^{-1}U(I_q+V{A}^{-1}U{)}^{-1}V{A}^{-1}$$
该公式的一个简单应用为：

记$1_n$为$n$维全1向量，$J_n=1_n{1}_n^{\prime }$，实数$a$、$b$满足$a\ne 0$及$a+nb\ne 0$，则有：
$$(a{I}_n+b{J}_n{)}^{-1}=\frac{1}{a}(I_n-\frac{b}{a+nb}{J}_n)$$同时有$|a{I}_n+b{J}_n|=a^{n-1}(a+nb)$。

证明：下面证明更一般的Woodbury公式：$$(A-U{C}^{-1}V{)}^{-1}=A^{-1}+A^{-1}U(C-V{A}^{-1}U{)}^{-1}V{A}^{-1}$$
其中$C$可逆。
考虑矩阵$\left[\begin{array}{cc}A& U\\ V& C\end{array}\right]$，由于$A$可逆，

消除第(2,1)项（行变换）：
$$\left[\begin{array}{cc}I& 0\\ -V{A}^{-1}& I\end{array}\right]\left[\begin{array}{cc}A& U\\ V& C\end{array}\right]=\left[\begin{array}{cc}A& U\\ 0& C-V{A}^{-1}U\end{array}\right]$$
消除第(1,2)项（列变换）：
$$\left[\begin{array}{cc}A& U\\ V& C\end{array}\right]\left[\begin{array}{cc}I& -A^{-1}U\\ 0& I\end{array}\right]=\left[\begin{array}{cc}A& 0\\ V& C-V{A}^{-1}U\end{array}\right]$$
于是有：
$$\left[\begin{array}{cc}I& 0\\ -V{A}^{-1}& I\end{array}\right]\left[\begin{array}{cc}A& U\\ V& C\end{array}\right]\left[\begin{array}{cc}I& -A^{-1}U\\ 0& I\end{array}\right]=\left[\begin{array}{cc}A& 0\\ 0& C-V{A}^{-1}U\end{array}\right]$$
进而：
$$\left[\begin{array}{cc}A& U\\ V& C\end{array}\right]=\left[\begin{array}{cc}I& 0\\ V{A}^{-1}& I\end{array}\right]\left[\begin{array}{cc}A& 0\\ 0& C-V{A}^{-1}U\end{array}\right]\left[\begin{array}{cc}I& A^{-1}U\\ 0& I\end{array}\right]$$
两边同时取逆：
$$\begin{array}{rl}{\left[\begin{array}{cc}A& U\\ V& C\end{array}\right]}^{-1}& ={\left[\begin{array}{cc}I& A^{-1}U\\ 0& I\end{array}\right]}^{-1}{\left[\begin{array}{cc}A& 0\\ 0& C-V{A}^{-1}U\end{array}\right]}^{-1}{\left[\begin{array}{cc}I& 0\\ V{A}^{-1}& I\end{array}\right]}^{-1}\\ & =\left[\begin{array}{cc}I& -A^{-1}U\\ 0& I\end{array}\right]\left[\begin{array}{cc}{A}^{-1}& 0\\ 0& (C-V{A}^{-1}U{)}^{-1}\end{array}\right]\left[\begin{array}{cc}I& 0\\ -V{A}^{-1}& I\end{array}\right]\\ & =\left[\begin{array}{cc}{A}^{-1}+A^{-1}U(C-V{A}^{-1}U{)}^{-1}V{A}^{-1}& -A^{-1}U(C-V{A}^{-1}U{)}^{-1}\\ -(C-V{A}^{-1}U{)}^{-1}V{A}^{-1}& (C-V{A}^{-1}U{)}^{-1}\end{array}\right]\end{array}$$
同样的，由于$C$可逆，有：
$$\left[\begin{array}{cc}A& U\\ V& C\end{array}\right]=\left[\begin{array}{cc}I& -U{C}^{-1}\\ 0& I\end{array}\right]\left[\begin{array}{cc}A-U{C}^{-1}V& 0\\ 0& C\end{array}\right]\left[\begin{array}{cc}I& 0\\ -C^{-1}V& I\end{array}\right]$$
两边同时取逆：
$$\begin{array}{rl}{\left[\begin{array}{cc}A& U\\ V& C\end{array}\right]}^{-1}& ={\left[\begin{array}{cc}I& 0\\ C^{-1}V& I\end{array}\right]}^{-1}{\left[\begin{array}{cc}A-U{C}^{-1}V& 0\\ 0& C\end{array}\right]}^{-1}{\left[\begin{array}{cc}I& U{C}^{-1}\\ 0& I\end{array}\right]}^{-1}\\ & =\left[\begin{array}{cc}I& 0\\ -C^{-1}V& I\end{array}\right]\left[\begin{array}{cc}(A-U{C}^{-1}V{)}^{-1}& 0\\ 0& C^{-1}\end{array}\right]\left[\begin{array}{cc}I& -U{C}^{-1}\\ 0& I\end{array}\right]\\ & =\left[\begin{array}{cc}(A-U{C}^{-1}V{)}^{-1}& -(A-U{C}^{-1}V{)}^{-1}U{C}^{-1}\\ -C^{-1}V(A-U{C}^{-1}V{)}^{-1}& C^{-1}V(A-U{C}^{-1}V{)}^{-1}U{C}^{-1}+C^{-1}\end{array}\right]\end{array}$$
对比第(1,1)项有：
$$(A-U{C}^{-1}V{)}^{-1}=A^{-1}+A^{-1}U(C-V{A}^{-1}U{)}^{-1}V{A}^{-1}$$
证毕。

$(a{I}_n+b{J}_n{)}^{-1}=\frac{1}{a}(I_n+\frac{b}{a}{J}_n{)}^{-1}$，取$U=\frac{b}{a}{1}_n$，$V=1_n^{\prime }$即得。

$$\begin{array}{rl}|a{I}_n+b{J}_n|& =\left|\begin{array}{cccc}a+b& b& ...& b\\ b& a+b& ...& b\\ ...& ...& ...& ...\\ b& b& ...& a+b\end{array}\right|\\ & =(a+nb)\left|\begin{array}{cccc}1& b& ...& b\\ 1& a+b& ...& b\\ ...& ...& ...& ...\\ 1& b& ...& a+b\end{array}\right|\\ & =(a+nb)\left|\begin{array}{cccc}1& b& ...& b\\ 0& a& ...& b\\ ...& ...& ...& ...\\ 0& 0& ...& a\end{array}\right|=a^{n-1}(a+nb)\end{array}$$

2. 广义逆

2.1 定义

令$A$是任意$m\times n$矩阵，称矩阵$A^{†}$是$A$的广义逆矩阵，若$A^{†}$满足一下四个条件（常称为Moore-Penrose条件）：

(i)$A{A}^{†}A=A$;
(ii)$A^{†}A{A}^{†}=A^{†}$;
(iii)$A{A}^{†}$为Hermitian矩阵，即$A{A}^{†}=(A{A}^{†}{)}^H$;
(iv)$A^{†}A$为Hermitian矩阵，即$A^{†}A=(A^{†}A{)}^H$.

根据满足Moore-Penrose条件的多少，可以对广义逆矩阵进行分类：

(1)满足全部四个条件的矩阵$A^{†}$称为$A$的Moore-Penrose逆矩阵；
(2)只满足条件(i)和(ii)的矩阵称为$A$的自反广义逆矩阵；
(3)满足条件(i)(ii)(iii)的矩阵称为$A$的正规化广义逆矩阵；
(4)满足条件(i)(ii)(iv)的矩阵称为$A$的弱广义逆矩阵。

2.2 广义逆的存在唯一性

任意$m\times n$矩阵$A$，其Moore-Penrose逆矩阵存在且唯一。

证明：
（存在性）
若$A$为零矩阵，显然零矩阵就是$A$的广义逆。

若$A\ne 0$，则$A$有奇异值分解，即存在正交矩阵$U$和$V$使得
A = U d i a g { σ 1 , . . , σ r , 0 , . . . , 0 } V H A=Udiag\{\sigma_1,..,\sigma_r,0,...,0\}V^H A=Udiag{σ1​,..,σr​,0,...,0}VH

令 A † = V d i a g { σ 1 − 1 , . . , σ r − 1 , 0 , . . . , 0 } U H A^\dagger=Vdiag\{\sigma_1^{-1},..,\sigma_r^{-1},0,...,0\}U^H A†=Vdiag{σ1−1​,..,σr−1​,0,...,0}UH，可以验证$A^{†}$就是$A$的广义逆。

（唯一性）
设$B$是$A$的另一个广义逆，即满足Moore-Penrose四个条件。
$$\begin{array}{rl}{A}^{†}& =A^{†}A{A}^{†}=A^{†}(A{A}^{†}{)}^H=A^{†}(A^{†}{)}^H{A}^H=A^{†}(A^{†}{)}^H(ABA{)}^H=A^{†}(A^{†}{)}^H{A}^H{B}^H{A}^H\\ & =A^{†}(A{A}^{†}{)}^H(AB{)}^H=A^{†}A{A}^{†}AB=A^{†}AB=A^{†}A(BAB)=A^{†}A{A}^H{B}^{H}B\\ & =A^H(A^{†}{)}^H{A}^H{B}^{H}B=(A{A}^{†}A{)}^H{B}^{H}B=A^H{B}^{H}B=(BA{)}^{H}B=BAB=B\end{array}$$

其他类型的广义逆矩阵均不是唯一的，关于其唯一性条件可参考：曹东, 杨成. 广义逆矩阵的唯一性[J]. 中南民族大学学报(自然科学版), 1998(1):78-80.