矩阵的广义逆
Penrose 方程
对于矩阵
A
∈
R
m
×
n
A\in R^{m\times n}
A∈Rm×n,Penrose给出了四个条件:
A
G
A
=
A
G
A
G
=
A
(
A
G
)
T
=
A
G
(
G
A
)
T
=
G
A
AGA=A\\ GAG=A\\ (AG)^T=AG\\ (GA)^T=GA
AGA=AGAG=A(AG)T=AG(GA)T=GA
对于一个矩阵
G
∈
R
n
×
m
G\in R^{n\times m}
G∈Rn×m,若其满足Penrose方程中的任意一个,即可成G为A的广义逆矩阵。
特别的,对于仅满足 A G A = A AGA=A AGA=A的广义逆矩阵称为 A − A^- A−,为A的减号逆。
对于满足 A G A = A , ( A G ) T = A G AGA=A,(AG)^T=AG AGA=A,(AG)T=AG的广义逆矩阵称为 A l − A^-_l Al−,为A的最小二乘逆。
对于满足 A G A = A , ( G A ) T = G A AGA=A,(GA)^T=GA AGA=A,(GA)T=GA的广义逆矩阵记为 A m − A^-_m Am−,为A的最小范数逆。
满足所有方程的广义逆矩阵为 A + A^+ A+,为加号逆或者Moore-Penrose广义逆。
广义逆矩阵 A − A^- A−
对于矩阵
A
∈
R
m
×
n
A\in R^{m\times n}
A∈Rm×n,如果存在非奇异矩阵P和Q使得
P
A
Q
=
(
I
r
0
0
0
)
PAQ=\begin{pmatrix}I_r&0\\0&0 \end{pmatrix}
PAQ=(Ir000)
则G是广义逆矩阵
A
−
A^-
A−的充分必要条件是:
G
=
Q
(
I
r
K
L
M
)
P
G=Q\begin{pmatrix}I_r&K\\L&M\end{pmatrix}P
G=Q(IrLKM)P
K
,
L
,
M
K,L,M
K,L,M为任意矩阵,此外,还有:
r
a
n
k
(
A
)
≤
r
a
n
k
(
A
−
)
r
a
n
k
(
A
A
−
)
=
r
a
n
k
(
A
−
A
)
=
r
a
n
k
(
A
)
Q
−
1
A
−
P
−
1
∈
B
{
1
}
rank(A) ≤ rank(A^-)\\ rank(AA^−) = rank(A^−A) = rank(A)\\ Q^{−1}A^−P^{−1}\in B\{1\}
rank(A)≤rank(A−)rank(AA−)=rank(A−A)=rank(A)Q−1A−P−1∈B{1}
用处:可以用减号逆直接得到相容方程组
A
x
=
b
Ax=b
Ax=b的解,相容方程组即要求其有解,G是A的减号逆是
x
=
G
b
x=Gb
x=Gb是相容方程
A
x
=
b
Ax=b
Ax=b的解的充要条件。
Penrose定理:矩阵方程
A
X
B
=
C
AXB=C
AXB=C有解的充分必要条件是:
A
A
−
C
B
−
B
=
C
AA^-CB^-B=C
AA−CB−B=C
在有解的情况下,其通解为:
X
=
A
−
C
B
−
+
Y
−
A
−
A
Y
B
B
−
X=A^-CB^-+Y-A^-AYBB^-
X=A−CB−+Y−A−AYBB−
其中
Y
∈
R
n
×
p
Y\in R^{n\times p}
Y∈Rn×p是任意的矩阵。
A
x
=
b
Ax = b
Ax=b有解的充要条件是
A
A
−
b
=
b
AA^-b=b
AA−b=b,此时
A
x
=
b
Ax = b
Ax=b的通解为
x
=
A
−
b
+
(
I
−
A
−
A
)
y
x = A^-b + (I-A^-A)y
x=A−b+(I−A−A)y
y
∈
R
n
y \in R^n
y∈Rn是任意的。
极小范数广义逆 A m − A^-_m Am−
对于矩阵
A
∈
R
m
×
n
A\in R^{m\times n}
A∈Rm×n,A的奇异值分解为:
A
=
U
(
∑
0
0
0
)
V
T
A = U\begin{pmatrix}\sum&0\\0&0 \end{pmatrix}V^T
A=U(∑000)VT
则G是A 的极小范数广义逆
A
m
−
A^-_m
Am−的充要条件为:
G
=
V
(
∑
−
1
K
0
M
)
U
T
G=V\begin{pmatrix}\sum^{-1}&K\\0&M \end{pmatrix}U^T
G=V(∑−10KM)UT
K,M为任意矩阵。
G是A 的极小范数广义逆
A
m
−
A^-_m
Am−的充要条件为:
G
A
A
T
=
A
T
GAA^T=A^T
GAAT=AT
对于矩阵
A
∈
R
m
×
n
A\in R^{m\times n}
A∈Rm×n,
A
−
A^-
A−是A的任一广义逆矩阵,
A
m
−
A_m^-
Am−是A的任一极小范数广义逆,则:
A
{
1
,
4
}
=
{
G
∈
R
n
×
m
∣
G
=
A
m
−
+
Z
(
I
−
A
A
−
)
,
Z
∈
R
n
×
m
}
A\{1,4\}=\{G\in R^{n \times m}|G = A_m^- + Z(I - AA^-),Z \in R^{n\times m}\}
A{1,4}={G∈Rn×m∣G=Am−+Z(I−AA−),Z∈Rn×m}
从以上我们已经知道
A
x
=
b
Ax = b
Ax=b有解的充要条件是
A
A
−
b
=
b
AA^-b=b
AA−b=b,此时
A
x
=
b
Ax = b
Ax=b的通解为
x
=
A
−
b
+
(
I
−
A
−
A
)
y
x = A^-b + (I-A^-A)y
x=A−b+(I−A−A)y
y
∈
R
n
y \in R^n
y∈Rn是任意的,接下来在
A
x
=
b
Ax = b
Ax=b中求解范数最小的解,即求广义逆矩阵G使得:
∥
G
b
∥
2
=
min
A
x
=
b
∥
x
∥
2
\|Gb\|_2= \begin{gather} \mathop{\min}_{Ax=b}\|x\|_2 \end{gather}
∥Gb∥2=minAx=b∥x∥2
该式对于
G
∈
A
{
1
,
4
}
G\in A\{1,4\}
G∈A{1,4}的
x
=
G
b
x=Gb
x=Gb为
A
x
=
b
Ax =b
Ax=b的极小范数解,且该解唯一。
最小二乘广义逆 A l − A^-_l Al−
对于矩阵
A
∈
R
m
×
n
A\in R^{m\times n}
A∈Rm×n,A的奇异值分解为:
A
=
U
(
∑
0
0
0
)
V
T
A = U\begin{pmatrix}\sum&0\\0&0 \end{pmatrix}V^T
A=U(∑000)VT
则G是A 的最小二乘广义逆
A
l
−
A^-_l
Al−的充要条件为:
G
=
V
(
∑
−
1
0
L
M
)
U
T
G=V\begin{pmatrix}\sum^{-1}&0\\L&M \end{pmatrix}U^T
G=V(∑−1L0M)UT
G是A 的最小二乘广义逆
A
l
−
A^-_l
Al−的充要条件为:
A
T
A
G
=
A
T
A^TAG=A^T
ATAG=AT
如果线性方程组
A
x
=
b
Ax = b
Ax=b不相容,则其没有通常意义下的解,存在残差
b
−
A
x
b-Ax
b−Ax不等于0。可以求这样的解来使残差最小:
min
∥
A
x
−
b
∥
2
\min\|Ax-b\|_2
min∥Ax−b∥2
满足上式的x为不相容方程组
A
x
=
b
Ax = b
Ax=b的最小二乘解。
G
∈
A
{
1
,
3
}
G\in A\{1,3\}
G∈A{1,3}的
x
=
G
b
x=Gb
x=Gb为
A
x
=
b
Ax =b
Ax=b的最小二乘解,且该解必为相容线性方程组:
A
T
A
x
=
A
T
b
A^TAx = A^Tb
ATAx=ATb
的解,反之亦然。
Moore-Penrose广义逆矩阵 A + A^+ A+
对于矩阵
A
∈
R
m
×
n
A\in R^{m\times n}
A∈Rm×n,
A
+
A^+
A+存在且唯一,A的奇异值分解为:
A
=
U
(
∑
0
0
0
)
V
T
A = U\begin{pmatrix}\sum&0\\0&0 \end{pmatrix}V^T
A=U(∑000)VT
则G是A 的最小二乘广义逆
A
l
−
A^-_l
Al−的充要条件为:
G
=
V
(
∑
−
1
0
0
0
)
U
T
G=V\begin{pmatrix}\sum^{-1}&0\\0&0 \end{pmatrix}U^T
G=V(∑−1000)UT
其满足:
这样计算的优点在于,对于相容方程组 A x = b Ax = b Ax=b,它的通解:
x
=
A
+
b
+
(
I
−
A
+
A
)
y
x = A^+b + (I-A^+A)y
x=A+b+(I−A+A)y
对于不相容方程组
A
x
=
b
Ax = b
Ax=b,它的最小二乘解:
x
=
A
+
b
+
(
I
−
A
+
A
)
y
x = A^+b + (I-A^+A)y
x=A+b+(I−A+A)y
二者相同,对于不相容方程组,当y=0时,其是极小最小二乘解,即:
∥
x
0
∥
≤
∥
x
∥
2
\|x_0\|\le\|x\|_2
∥x0∥≤∥x∥2