矩阵分析与应用-1.9-Moore-Penrose逆矩阵-Section1

前言

本文学习过程来源是《矩阵分析与应用-张贤达》一书. 可以通过 z-lib 下载.

我们之前一节的广义逆矩阵已经包含了逆矩阵、左逆矩阵和右逆矩阵

我们现在面临一个问题: 最小二乘解是非唯一的, 其会有通解. 这就会引申出两个问题

• 是否存在某种意义下的唯一解?

• 若存在唯一解，那么广义逆矩阵 $AGA=A$ 是否仍旧有效？

为此, 我们引入了涵义更为广泛的广义逆矩阵: $Moore-Penrose$ 逆矩阵

$Moore-Penrose$ 逆矩阵的定义与性质

我们用 $P_S$ 表示到向量空间 $S$ 上的正交投影. 明显的, 有 $P_{S}x$ 在空间 $S$ 上,且 $x-P_{S}x$ 与子空间 $S$ 正交.

对于任意一个 $m\times n$ 的复矩阵 $G$ 我们使用 $Range(G)$ 来表示其值域空间.

$\mathrm{M}\mathrm{o}\mathrm{o}\mathrm{r}\mathrm{e}$ 则证明出了, 矩阵 $G$ 的广义逆矩阵 $G^{†}$ 必须满足条件:

$$G{G}^{†}=P_{Range(G)},G^{†}G=P_{Range(G^H)}\text{\hspace{1em}(1)}$$

我们将上述两条件称为 $\mathrm{M}\mathrm{o}\mathrm{o}\mathrm{r}\mathrm{e}$ 条件, 而满足 $\mathrm{M}\mathrm{o}\mathrm{o}\mathrm{r}\mathrm{e}$ 条件的矩阵 $G^{†}$ 被称为 $\mathrm{M}\mathrm{o}\mathrm{o}\mathrm{r}\mathrm{e}$ 逆矩阵

此外, 由于上述条件不好使用, $\mathrm{P}\mathrm{e}\mathrm{n}\mathrm{r}\mathrm{o}\mathrm{s}\mathrm{e}$ 提出的另外一组条件

1. $Moore-Penrose$ 条件

定义 1: 令A是任意的 $m\times n$ 矩阵, 若称矩阵 $G$ 是 $A$ 的广义逆矩阵, 则需要满足下面四个条件 ($\mathrm{M}\mathrm{o}\mathrm{o}\mathrm{r}\mathrm{e}-\mathrm{P}\mathrm{e}\mathrm{n}\mathrm{r}\mathrm{o}\mathrm{s}\mathrm{e}$ 条件):

• $(1)AGA=A$

• $(2)GAG=G$

• $(3)AG$ 为 $\mathrm{H}\mathrm{e}\mathrm{r}\mathrm{m}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{a}\mathrm{n}$ 矩阵, 即 $(AG{)}^{\mathrm{H}}=AG$

• $(4)GA$ 为 $\mathrm{H}\mathrm{e}\mathrm{r}\mathrm{m}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{a}\mathrm{n}$ 矩阵, 即 $(GA{)}^H=GA$

然后 $\mathrm{R}\mathrm{a}\mathrm{d}\mathrm{o}$ 证明了 $\mathrm{P}\mathrm{e}\mathrm{n}\mathrm{r}\mathrm{o}\mathrm{s}\mathrm{e}$ 的定义与 $\mathrm{M}\mathrm{o}\mathrm{o}\mathrm{r}\mathrm{e}$ 的定义等价.

2. 以条件满足数目分类

• 自反广义逆矩阵: 只满足条件 (1) 和 (2) 的矩阵 $G=A^{†}$ 称为 $A$ 的自反广义矩阵.

• 正规化广义逆矩阵: 只满足条件(1)、(2) 和 (3) 的矩阵 $A^{†}$ 称为 $A$ 的正规化广义逆矩阵.

• 弱广义逆矩阵: 只满足条件(1)、(2) 和 (4) 的矩阵 $A^{†}$ 称为 $A$ 的弱广义逆矩阵.

• $Moore-Penrose$ 逆矩阵: 满足 4 个条件

3. 一般广义矩阵的特性

定理 1:

若 $A^g$ 是矩阵 $A$ 的任意一种广义逆矩阵, 则有:

$$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A^g)\ge \mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A^{g}A)=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A{A}^g)$$

秩 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A^g)=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)$ 的一个充要条件：$A^g$ 是 $A$ 的自反广义逆矩阵

我们上面的 $Moore-Penrose$ 条件可以引申到下面的几条性质：

• $(A^H{)}^{†}=(A^{†}{)}^H$

• $A^{†}A{A}^H=A^{H}A{A}^{†}=A^H$

• $A{A}^H(A^H{)}^{†}=(A^H{)}^{†}{A}^{H}A=A$

• $A{A}^{†},A^{†}A,(I-A{A}^{†}),(I-A^{†}A)$ 均为幂等矩阵

之前几篇博客里的广义逆矩阵的特例

• $n\times n$ 的正方非奇异矩阵 $A_{n\times n}$ 的逆矩阵 $A^{-1}$ 满足 4 个条件

• $m\times n$ 的 $A_{m\times n}(m>n)$ 的左伪逆矩阵 $(A^{H}A{)}^{-1}{A}^H$ 满足 4 个条件

• $m\times n$ 的 $A_{m\times n}(m<n)$ 的右伪逆矩阵 $A^H(A{A}^H{)}^{-1}$ 满足 4 个条件

• 满足 $L{A}_{m\times n}=I_n$ 的一般左逆矩阵 $L_{n\times m}$ 满足 (1), (2)和 (4) 条件, 是弱广义逆矩阵

• 满足 $A_{m\times n}R=I_m$ 的一般右逆矩阵 $R_{n\times m}$ 满足 (1), (2)和 (3)条件, 是正规化广义逆矩阵

• 广义逆矩阵 $A^{-}$ 只满足条件 (1)

不同于左逆矩阵 $L$ 右逆矩阵 $R$ 和广义逆矩阵 $A^{-}$ 的多值性, $\mathrm{M}\mathrm{o}\mathrm{o}\mathrm{r}\mathrm{e}-\mathrm{P}\mathrm{e}\mathrm{n}\mathrm{r}\mathrm{o}\mathrm{s}\mathrm{e}$ 逆矩阵定义唯一.

一般的, 我们使用广义逆矩阵直接当作 $\mathrm{M}\mathrm{o}\mathrm{o}\mathrm{r}\mathrm{e}-\mathrm{P}\mathrm{e}\mathrm{n}\mathrm{r}\mathrm{o}\mathrm{s}\mathrm{e}$ 逆矩阵的简称, 使用 $A^{†}$ 表示.

而原来的广义逆矩阵 (即只用条件 (1) $AGA=A$ 定义的) 广义逆矩阵只用 $A^{-}$ 表示.

一般情况下, $A^{†}$ 并不满足逆矩阵的性质 $(AB{)}^{-1}=B^{-1}{A}^{-1}$, 即有:

$$(AB{)}^{†}\ne B^{†}{A}^{†}$$

定理 2:

若 $A,B$ 均为使得矩阵 $AB$ 存在的任意矩阵, 则 $(AB{)}^{†}=B^{†}{A}^{†}$ 的充要条件为以下之一:

• $A^{\dagger}AB B^H A^H = BB^H A^H $ 和 $ BB^{\dagger} A^HAB = A^HAB$

• $A^{†}AB{B}^H$ 和 $A^{H}AB{B}^{†}$ 都是 $\mathrm{H}\mathrm{e}\mathrm{r}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{a}\mathrm{n}$ 矩阵

• $A^{†}AB{B}^H{A}^{H}AB{B}^{†}=B{B}^H{A}^{H}A$

• $A^{†}AB=B(AB{)}^{†}AB$ 且 $B{B}^{†}{A}^H=A^{H}AB(AB{)}^{†}$

4. $\mathrm{M}\mathrm{o}\mathrm{o}\mathrm{r}\mathrm{e}-\mathrm{P}\mathrm{e}\mathrm{n}\mathrm{r}\mathrm{o}\mathrm{s}\mathrm{e}$ 逆矩阵 $A^{†}$ 的性质

• 广义逆矩阵 $A^{†}$ 唯一

• $(A^H{)}^{†}=(A^{†}{)}^H=A^{†H}=A^{H†}$

• $(A^{†}{)}^{†}=A$

• 若 $c \neq 0 $，则有 $ (cA)^{\dagger} = \frac{1}{c} A^{\dagger}$

• 若 $D=diag(d_{11},d_{22},\cdots ,d_{nn})$ 为 $n\times n$ 对角矩阵, 则 $D^{†}=diag(d_{11}^{†},d_{22}^{†},\cdots ,d_{nn}^{†})$ (其中 $d_{ii}^{†}=d_{ii}^{-1}$ 或 $d_{ii}^{†}=0$ )

• 零矩阵的广义逆矩阵为零矩阵, 即: $O_{m\times n}^{†}=O_{n\times m}$

• 向量 $ x $ 的Moore-Penrose逆矩阵为: $x^{†}=(x^{H}x{)}^{-1}{x}^H$

• 关于几个真假的判断:

  • $A{A}^{†}\ne I_m$

  • $A^{†}A\ne I_n$

  • $A^H(A^H{)}^{†}\ne I_n$

  • $(A^H{)}^{†}{A}^H\ne I_m$

  • $A^{†}A{A}^H=A^H$

  • $A^{H}A{A}^{†}=A^H$

  • $A^{H}A{A}^{†}=A^H$

  • $A^H{A}^{†}A=A^H$

  • $A{A}^{†}(A^{†}{)}^H=(A^{†}{)}^H$

  • $(A^{†}{)}^H{A}^{†}A=(A^{†}{)}^H$ 这里存疑。。。

  • $(A^H{)}^{†}{A}^{H}A=A$

  • $A{A}^H(A^H{)}^{†}=A$

  • $A^H(A^{†}{)}^H{A}^{†}=A^{†}$

  • $A^{†}(A^{†}{)}^H{A}^H=A^{†}$

• 任何矩阵 $A_{m\times n}$ 的广义逆矩阵都可以用 $A^{†}=(A^{H}A{)}^{†}{A}^H$ 或者 $A^{†}=A^H(A{A}^H{)}^{†}$ 确定, 且他们有特殊情况:

  • 若 $A$ 列满秩, 则 $A^{†}=(A^{H}A{)}^{-1}{A}^{†}$ , 此时退化为左伪逆矩阵

  • 若 $A$ 行满秩, 则 $A^{†}=A^H(A{A}^H{)}^{-1}$ , 此时退化为右伪逆矩阵

  • 若 $A$ 为非奇异的正方矩阵, 则 $A^{†}=A^{-1}$ , 此时退化为逆矩阵

• 若 $A^{H}A=PD{P}^H$ , 其中 $P{P}^H=P^{H}P=I$ , 且 $D$ 为对角矩阵 , 则 $A^{†}=P{D}^{†}{P}^H{A}^H$

• 若 $A=BC$ , 且 $B$ 列满秩 , $C$ 行满秩, 则有:

$$A^{†}=C^{†}{B}^{†}=C^H(C{C}^H{)}^{-1}(B^{H}B{)}^{-1}{B}^H$$

• 若 $A^H = A $ ，其 $ A^2 = A $ ，则 $ A^{\dagger} = A$

• 如矩阵 $A_i$ 相互正交, 即 $A_i^H{A}_j=O$ , 则我们有:

$$(A_1+A_2+\cdots +A_m{)}^{†}=A_1^{†}+A_2^{†}+\cdots +A_m^{†}$$

• $(A{A}^H{)}^{†}=(A^{†}{)}^H{A}^{†}$

• $(A{A}^H{)}^{†}(A{A}^H)=A{A}^{†}$

• 一般来说 $(A^m{)}^{†}\ne (A^{†}{)}^m$ , 但只要 $A{A}^H=A^{H}A$ , 则有 $(A^m{)}^{†}=(A^{†}{)}^m$

• 若 $A$ 为 $m\times n$ 矩阵，则有:

$${\left[\begin{array}{cc}{A}_{m\times n}& O_{m\times q}\\ O_{p\times n}& O_{p\times q}\end{array}\right]}^{†}=\left[\begin{array}{cc}(A^{†}{)}_{n\times m}& O_{n\times p}\\ O_{q\times m}& O_{q\times p}\end{array}\right]$$

$${\left[\begin{array}{cc}{O}_{p\times q}& O_{p\times n}\\ O_{m\times q}& A_{m\times n}\end{array}\right]}^{†}=\left[\begin{array}{cc}{O}_{q\times p}& O_{q\times m}\\ O_{m\times q}& (A^{†}{)}_{n\times m}\end{array}\right]$$

• 对于广义逆矩阵的秩, 有:

$$\begin{array}{rl}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A^{†})& =\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A^H)\\ & =\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A^{†}A)=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A{A}^{†})\\ & =\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A{A}^{†}A)=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A^{†}A{A}^{†})\end{array}$$

• 广义逆矩阵 $A^{†}$ 和 $A^H$ 的行空间相同 (即他们的行空间都互相包含)

• 广义逆矩阵 $A^{†}$ 和 $A^H$ 的列空间相同 ( 即 $\mathrm{S}\mathrm{p}\mathrm{a}\mathrm{n}(A^{†})=\mathrm{S}\mathrm{p}\mathrm{a}\mathrm{n}(A^H)$ 或者 $\mathrm{R}\mathrm{a}\mathrm{n}\mathrm{g}\mathrm{e}(A^{†})=\mathrm{R}\mathrm{a}\mathrm{n}\mathrm{g}\mathrm{e}(A^H)$ )

• 对于 $m>n$ , 且 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=n$ 时, 我们有广义逆矩阵 (左伪逆矩阵) $A^{†}=(A^{H}A{)}^{-1}{A}^H$

  • $A$ 和 $A{A}^{†}$ 的列空间相同

  • $(I_m-A{A}^{†})$ 的列空间是矩阵 $A$ 的列空间的正交补

  • $A{A}^{†}=A(A^{H}A{)}^{-1}{A}^H$ 是幂等矩阵

  • $I_m-A{A}^{†}$ 是幂等矩阵

• 对于 $m<n$ , 且 $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(A)=m$ 时, 我们有广义逆矩阵 (右伪逆矩阵) $A^{†}=A^H(A{A}^H{)}^{-1}$

  • $A^{†}$ 和 $A^{†}A$ 的列空间相同

  • $(I_n-A^{†}A)$ 的列空间是矩阵 $A^H$ 的列空间的正交补

  • $A^{†}A=A^H(A{A}^H{)}^{-1}A$ 是幂等矩阵

  • $I_n-A^{†}A$ 是幂等矩阵

• 若 $A_{m\times n},B_{m\times p}$ , 则我们有:

  $${\left[\begin{array}{cc}A,& B\end{array}\right]}^{†}=\left[\begin{array}{c}{A}^{†}-A^{†}B(C^{†}+D)\\ C^{†}+D\end{array}\right]$$

  其中, 我们有 $C=(I_m-A{A}^{†})B$ , 且 $D=(I_p-C^{†}C)[I_p+(I_p-C^{†}C)B^H(A^{†}{)}^{H}B(I_p-C^{†}C){]}^{-1}{B}^H(A^{†}{)}^H(I_m-B{C}^{†})$

• 若 $A_{m\times n},B_{p\times n}$ , 则我们有:

  $${\left[\begin{array}{c}A\\ B\end{array}\right]}^{†}=\left[\begin{array}{cc}{A}^{†}-TB{A}^{†},& T\end{array}\right]$$

  其中, 我们有 $T=E^{†}+(I_n-E^{†}B)A^{†}(A^{†}{)}^H{B}^{H}K(I_p-E{E}^{†})$ , 且 $K=[I_p+(I_p-E{E}^{†})B{A}^{†}(A^{†}{)}^H{B}^H(I_p-E{E}^{†}){]}^{-1}$