逆矩阵
逆矩阵的定义:如果对于一个方阵
A
,存在一个方阵
一个
n∗n
的方阵存在逆矩阵的充要条件等价于:
- A 为非奇异矩阵
rank(A)=n - A 的行向量线性无关
A 的列向量线性无关- det(A)≠0 ,即行列式不为0
- Ax=0 只有唯一平凡解 x=0
- Ax=b 为一致方程,且有唯一解
- A 的零空间的维度为0
如果对于方程
矩阵的零空间是指线性方程组
Ax=0
的解向量张成的空间的。
一些基本的性质这里不赘述,值得一提的是两个矩阵之和的求逆运算,它不同于转置等运算( (A+B)T=AT+BT )。
Sherman-Morrison公式:
分块矩阵的求逆公式:
广义逆矩阵
我们看到,逆矩阵的定义仅仅针对方阵而言,但是实际应用中,我们遇到的很多问题并不满足这个条件,将矩阵的逆的定义扩展到任意矩阵,得到我们的广义逆矩阵:
如果一个矩阵
L
满足
证明如下,考虑
一个矩阵的广义逆矩阵往往不是唯一的,特别地,有以下形式的广义逆矩阵:
是不是很眼熟?对了,这就是和最小二乘密切相关的两个广义逆矩阵!,左逆对应于超定问题(非一致方程)的最小二乘解,右逆对应于欠定问题(一致方程)的最小范数解。
现在,我们将左逆和右逆统一起来,用线性方程组的解的形式来描述:
最后一个等式也是广义逆的定义式: A−存在↔AA−A=A
定理:
- A−存在↔A−A和AA−皆为幂等矩阵,即(AA−)2=AA−,(A−A)2=A−A
- A−存在↔rank(A)=rank(AA−)或rank(A)=rank(A−A)
广义逆矩阵的计算
定理:对于任意的秩为
r
的矩阵
称为矩阵的满秩分解,求解步骤如下
- 将
A
通过行初等变换化为阶梯矩阵,得到
A=[GO] 对单位矩阵执行上述变换的逆变换,得到 I→P−1
A=FG ,其中 F 为
P−1 前 r 列组成的子矩阵
则
容易验证,它满足广义逆矩阵的定义式 AA−A=A
且F和G分别为列满秩和行满秩,所以 (FTAGT)−1=(FTFGGT)−1=(FTF)−1(GGT)−1 一定存在。
回过头来,我们看看用广义逆矩阵来定义线性方程的解会有什么结论:
定理1:齐次方程
Ax=0
的一个通解为
x=(I−A−A)z
,其中
z
为任意的n*1向量。
定理2:非齐次方程
定理3:非齐次方程
Ax=y
的一个通解为
x=A−y+(I−A−A)z
,其中
z
为任意的n*1向量。
上述三个定理可以通过直接验证广义逆矩阵的定义式得证。
Moore-Penrose逆矩阵
由前面定义的逆矩阵求解超定问题(非一致方程)的最小二乘解和欠定问题(一致方程)的最小范数解时,解是不唯一的。因此将广义逆矩阵做进一步的约束,便得到Moore-Penrose逆矩阵(平时说的伪逆就是它),它能保证解的唯一性。
定义满足下列性质的矩阵
- AGA=A
- GAG=G
- (AG)H=AG
- (GA)H=GA
Moore-Penrose逆矩阵是由Moore在1935年提出的,由于原始定义十分晦涩,于是Penrose于1955年提出了上述的四个条件,因此名为Moore-Penrose逆矩阵。
Moore-Penrose逆矩阵又根据满足上述条件的个数,分为以下几种:
①只满足条件1,2,称为自反广义逆矩阵
②只满足条件1,2,3,称为正则化广义逆矩阵
③只满足条件1,2,4,称为弱广义逆矩阵
注意,对于只满足某些条件的逆矩阵,它的秩总是大于等于原矩阵的秩。即:
我们前面提到的左伪逆矩阵和右伪逆矩阵都是Moore-Penrose矩阵,满足四个条件。
Moore-Penrose逆矩阵的计算
1.方程求解法:
2.KL分解法:
即通过矩阵的满秩分解求解,求解方式同上述的广义逆矩阵,只不过将转置运算换成共轭转置,容易验证,该法求解得到的结果满足上述四个条件。
PS:当使用Moore-Penrose逆矩阵求解超定问题(非一致方程)的最小二乘解时,不仅解唯一,且是最小二乘最小范数解