矩阵论(四)——矩阵的广义逆

1. 广义逆矩阵

$\forall A\in R^{m\times n}，\exists G\in R^{n\times m}$，满足下列的一个、多个或者全部，则称G为A的广义逆矩阵
$(1)AGA=A$
$(2)GAG=G$
$(3)(AG{)}^H=AG$
$(4)(GA{)}^H=GA$
若满足第i个条件，记为 G = A ( i ) ， A { i } = { G ∣ G = A ( i ) } G = A^{(i)}，A\{i\} = \{G | G = A^{(i)}\} G=A(i)，A{i}={G∣G=A(i)}
若满足第i, j个条件，记为 G = A ( i , j ) ， A { i , j } = { G ∣ G = A ( i , j ) } G = A^{(i, j)}，A\{i, j\} = \{G | G = A^{(i, j)}\} G=A(i,j)，A{i,j}={G∣G=A(i,j)}

减号逆($A^{-}$)： $A^{-}=A^{(1)}$，满足$AGA=A$

极小范数广义逆($A_m^{-}$)： $A^{(1,4)}$，满足$AGA=A,(GA{)}^H=GA$

最小二乘广义逆($A_l^{-}$)： $A^{(1,3)}$，满足$AGA=A,(AG{)}^H=AG$

加号广义逆($A^{+}$)： $A^{(1,2,3,4)}$，满足$AGA=A,GAG=A,(AG{)}^H=AG,(GA{)}^H=GA$

2. 减号广义逆

$A\in C^{m\times n}$，若存在$G\in C^{n\times m}$，使$AGA=A$，则称G为A的一个减号广义逆，记为 A − ， A { 1 } = { G ∣ A G A = A } A^{-}，A\{1\} = \{G | AGA = A\} A−，A{1}={G∣AGA=A}

$A^{-}$存在的条件及求法： $\forall A\in C^{m\times n}$
(1) 若秩(A) = 0，即$A=0$，则$A^{-}$存在，即$\forall G\in C^{n\times m}，均有AGA=A$
(2) 若秩(A) = n(m = n)，即$|A|\ne 0$，则$A^{-}$不唯一，且$A^{-}=A^{-1}，AGA=A$
(3) 若秩(A) = r，有可逆P，Q，使$PAQ={\left(\begin{array}{cc}{I}_r& \\ & 0\end{array}\right)}_{m\times n}$，即$A=P^{-1}\left(\begin{array}{cc}{I}_r& \\ & 0\end{array}\right)Q^{-1}$
则 G ∈ A { 1 }    ⟺    G = Q ( I r U V W ) P G \in A\{1\} \iff G = Q \begin{pmatrix}I_r & U \\ V & W\end{pmatrix} P G∈A{1}⟺G=Q(Ir​V​UW​)P，其中U、V、W为相应的任意矩阵

设$A\in C^{m\times n}，\lambda \in C$，则$A^{-}$满足一下性质：
$(1)rank(A)\le rank(A^{-})$
$(2)A{A}^{-}与A^{-}A$都是幂等矩阵，且$rank(A)=rank(A{A}^{-})=rank(A^{-}A)$
$(3)R(A{A}^{-})=R(A)，N(A^{-}A)=N(A)$

例如：

说明：可以先对$\left(\begin{array}{cc}A& I_3\end{array}\right)$做行变换，将变换后的结果记为$\left(\begin{array}{cc}{A}^{\prime }& P\end{array}\right)$，然后对$\left(\begin{array}{c}{A}^{\prime }\\ I_4\end{array}\right)$做列变换，即可得到最终的P和Q

3. 极小范数广义逆

极小范数广义逆： $A\in C^{m\times n}$，若存在$G\in C^{n\times m}$，使$(1)AGA=A，(4)(GA{)}^H=GA$，则称G为A的一个极小范数广义逆，
记为 A m − ， A { 1 ， 4 } = { G ∣ A G A = A ， ( G A ) H = G A } A^{-}_m，A\{1，4\} = \{G | AGA = A，(GA)^H = GA\} Am−​，A{1，4}={G∣AGA=A，(GA)H=GA}

$A_m^{-}$存在的条件及求法： $A\in C^{m\times n}$，A的奇异分解：$A=U\left(\begin{array}{cc}{\Delta }_r& 0\\ 0& 0\end{array}\right)V^H$，则
G ∈ A { 1 ， 4 }    ⟺    G = V ( Δ r − 1 K 0 M ) U H G \in A\{1，4\} \iff G = V \begin{pmatrix}\Delta_r^{-1} & K \\ 0 & M\end{pmatrix} U^H G∈A{1，4}⟺G=V(Δr−1​0​KM​)UH，K和M为相应任意矩阵
奇异分解求解过程可参考https://blog.csdn.net/u011609063/article/details/102680734#32_SVD_250

相容方程： 方程组Ax=b有解
矛盾(不相容)方程： 方程组Ax=b无解

极小范数解： 方程$Ax=b$有无数解，在所有的解中最小的解就是极小范数解。即$x_0=min(x)$，$x_0$为$Ax=b$的极小范数解

若 G ∈ A { 1 ， 4 } ， 则 G b = m i n ( x ) G \in A\{1，4\}，则Gb = min(x) G∈A{1，4}，则Gb=min(x)，即$x_0=Gb$是相容方程组Ax=b的极小范数解
A ∈ C m × n ， G ∈ A { 1 ， 4 }    ⟺    x 0 = G b A \in C^{m \times n}，G \in A\{1，4\} \iff x_0 = Gb A∈Cm×n，G∈A{1，4}⟺x0​=Gb是相容方程Ax=b的极小范数解
∀ G 1 ， G 2 ∈ A { 1 ， 4 } ， 必 有 G 1 b = G 2 b \forall G_1，G_2 \in A\{1，4\}，必有G_1 b = G_2 b ∀G1​，G2​∈A{1，4}，必有G1​b=G2​b，即相容方程的极小范数解是唯一的。

例如：

4. 最小二乘广义逆

最小二乘广义逆： $A\in C^{m\times n}$，若存在$G\in C^{n\times m}$，使$(1)AGA=A，(3)(AG{)}^H=AG$，则称G为A的一个最小二乘广义逆，记为 A l − ， A { 1 ， 3 } = { G ∣ A G A = A ， ( A G ) H = A G } A^{-}_l，A\{1，3\} = \{G | AGA = A，(AG)^H = AG\} Al−​，A{1，3}={G∣AGA=A，(AG)H=AG}

$A_l^{-}$存在的条件及求法： $A\in C^{m\times n}$，A的奇异分解：$A=U\left(\begin{array}{cc}{\Delta }_r& 0\\ 0& 0\end{array}\right)V^H$，则
G ∈ A { 1 ， 3 }    ⟺    G = V ( Δ r − 1 0 L M ) U H G \in A\{1，3\} \iff G = V \begin{pmatrix}\Delta_r^{-1} & 0 \\ L & M\end{pmatrix} U^H G∈A{1，3}⟺G=V(Δr−1​L​0M​)UH，L和M为相应任意矩阵
奇异分解求解过程可参考https://blog.csdn.net/u011609063/article/details/102680734#32_SVD_250

最小二乘解： $Ax-b$取最小值时x的解，即矛盾方程$Ax=b，\exists u\in C^n，||Au-b|{|}_2=min||Ax-b|{|}_2(\forall x\in C^n)$时u的值

G ∈ A { 1 ,   3 } ， 则 A H A G = A H G \in A\{1,\ 3\}，则A^HAG = A^H G∈A{1, 3}，则AHAG=AH

若 G ∈ A { 1 ,   3 } ， 则 x = G b G \in A\{1,\ 3\}，则x = Gb G∈A{1, 3}，则x=Gb是矛盾方程Ax=b的最小二乘解，即$AGb-b=min(Ax-b)$

例如：

5. 加号广义逆

加号广义逆： $A\in C^{m\times n},\exists G\in C^{n\times m}$，满足$(1)AGA=A(2)GAG=G(3)(AG{)}^H=AG(4)(GA{)}^H=GA$，
则称G为A的Moore-Penrose广义逆或加号广义逆，简称A的M-P逆，记为 A + ， A { 1 ,   2 ,   3 ,   4 } A^+，A\{1,\ 2,\ 3,\ 4\} A+，A{1, 2, 3, 4}

$A^{+}$存在的条件及求法： $A\in C^{m\times n}$，则$A^{+}$存在且唯一
A的奇异分解：$A=U\left(\begin{array}{cc}{\Sigma }_r& 0\\ 0& 0\end{array}\right)V^H$，则$A^{+}=V\left(\begin{array}{cc}{\Sigma }_r^{-1}& 0\\ 0& 0\end{array}\right)U^H$
奇异分解求解过程可参考https://blog.csdn.net/u011609063/article/details/102680734#32_SVD_250

设rank(A) = r，A的一个满值分解为$A=BC，B\in C^{m\times r}，C\in C^{r\times n}，rank(B)=rank(C)=r$
则$A^{+}=C^H(C{C}^H{)}^{-1}(B^{H}B{)}^{-1}{B}^H$

$A\in C^{m\times n}，\lambda \in C^{m\times n}，则A^{+}$满足以下性质：
$(1)(A^{+}{)}^{+}=A$
$(2)(A^{+}{)}^H=(A^H{)}^{+}$
$(3)(\lambda A{)}^{+}={\lambda }^{+}{A}^{+}$，其中${\lambda }^{+}=\{\begin{array}{ll}\frac{1}{\lambda }& \lambda \ne 0\\ 0& \lambda =0\end{array}$
$(4)A^{+}=\{\begin{array}{ll}(A^{H}A{)}^{-1}{A}^H& A为列满秩\\ A^H(A{A}^H{)}^{-1}& A为行满秩\end{array}$

例如：

6.方程通解与最小二乘解

6.1 相容方程的通解

相容方程：$Ax=b，A\in C^{m\times n}$
$x=A^{-}b+(I_n-A^{-}A)z，z\in C^n$

6.2 矛盾方程的最小二乘解

矛盾方程：$Ax=b，A\in C^{m\times n}$
$x=A_l^{-}b+(I_n-A_l^{-}A)z，\forall z\in C^n$