第一章 矩阵与线性方程组(二十四)
1. 非一致方程的最小范数最小二乘解
在最小二乘解中获得一个具有最小范数的解。这样一种解称为非一致方程 A x = y Ax=y Ax=y的最小范数最小二乘解,也称半范数最小二乘解。
定义
对于非一致方程
A
m
×
n
x
n
×
1
=
y
m
×
1
A_{m\times n}x_{n\times 1}=y_{m\times 1}
Am×nxn×1=ym×1,矩阵
G
G
G称为
A
A
A的最小范数最小二乘广义逆矩阵,若
G
G
G满足条件
∣
∣
G
y
∣
∣
n
≤
∣
∣
x
^
n
∀
x
^
∈
{
x
^
:
∣
∣
A
x
^
−
y
∣
∣
m
≤
∣
∣
A
z
−
y
∣
∣
m
∀
y
∈
R
m
,
z
∈
R
n
}
||Gy||_n≤||\hat{x}_n \forall \hat{x} \in \{\hat{x}:||A\hat{x}-y||_m≤||Az-y||_m \forall y \in R^m,z \in R^n \}
∣∣Gy∣∣n≤∣∣x^n∀x^∈{x^:∣∣Ax^−y∣∣m≤∣∣Az−y∣∣m∀y∈Rm,z∈Rn}
式中,
∣
∣
⋅
∣
∣
n
||·||_n
∣∣⋅∣∣n和
∣
∣
⋅
∣
∣
m
||·||_m
∣∣⋅∣∣m分别是在
R
n
R^n
Rn和
R
m
R^m
Rm空间的范数(半范数);花括号{·}表示是非一致方程
A
x
=
y
Ax=y
Ax=y的最小二乘解,而
∣
∣
G
y
∣
∣
n
≤
∣
∣
x
^
n
||Gy||_n≤||\hat{x}_n
∣∣Gy∣∣n≤∣∣x^n表示
G
y
Gy
Gy是在所有的最小二乘解中具有最小范数的那个解。
定理
矩阵
G
G
G使得
G
y
Gy
Gy是非一致方程
A
x
=
y
Ax=y
Ax=y的最小范数最小二乘解,当且仅当
G
G
G满足条件
A
G
A
=
A
,
(
A
G
)
#
=
A
G
,
G
A
G
=
G
,
(
G
A
)
#
=
G
A
AGA=A,(AG)^\#=AG,GAG=G,(GA)^\#=GA
AGA=A,(AG)#=AG,GAG=G,(GA)#=GA
式中,
A
#
A^\#
A#是
A
A
A的伴随矩阵。
利用伴随矩阵的性质
B
#
=
B
H
B^\#=B^H
B#=BH易知,定理中的第二个条件
(
A
G
)
#
=
A
G
(AG)^\#=AG
(AG)#=AG即
(
A
G
)
H
=
A
G
(AG)^H=AG
(AG)H=AG,第四个条件
(
G
A
)
#
=
G
A
(GA)^\#=GA
(GA)#=GA即
(
G
A
)
H
=
G
A
(GA)^H=GA
(GA)H=GA。
因此,定理也可以等价表述为:
矩阵
G
G
G使得
G
y
Gy
Gy是非一致方程
A
x
=
y
Ax=y
Ax=y的最小范数最小二乘解,当且仅当
G
G
G是
A
A
A的Moore-Penrose逆矩阵。
2. 广义逆矩阵的阶数递推计算
在系统辨识中,一个时间序列通常表示成一个自回归-移动平均(ARMA)模型的输出。然而,在许多实际的情况下,ARMA(p,q)过程的阶数(p,q)是未知的,因此系统辨识需要估计对应于不同可能阶次的ARMA模型的AR和MA参数,并确定最优阶数(p,q)。这说明,一种阶数递推的系统辨识方法是非常有吸引力的。
2.1 左伪逆矩阵的阶数递推
考虑 n × m n\times m n×m矩阵 F m F_m Fm,并设 F + = ( F m H F m ) − 1 F m H F^+=(F_m^HF_m)^{-1}F_m^H F+=(FmHFm)−1FmH是 F m F_m Fm的左伪逆矩阵。
定理
令
F
m
=
[
F
m
−
1
f
m
]
F_m=[F_{m-1}f_m]
Fm=[Fm−1fm]
式中,
f
m
f_m
fm是矩阵
F
m
F_m
Fm的第
m
m
m列,且
r
a
n
k
(
F
m
)
=
m
rank(F_m)=m
rank(Fm)=m,则计算
F
m
+
F_m^+
Fm+的递推公式由下式给出:
F
m
+
=
[
F
m
−
1
+
−
F
m
−
1
+
f
m
e
m
H
Δ
m
−
1
e
m
H
Δ
m
−
1
]
F_m^+= \begin{bmatrix} F_{m-1}^+-F_{m-1}^+f_me_m^H \Delta_m^{-1} \\ e_m^H\Delta_m^{-1} \end{bmatrix}
Fm+=[Fm−1+−Fm−1+fmemHΔm−1emHΔm−1]
式中
e
m
=
[
I
n
−
F
m
−
1
F
m
−
1
+
]
f
m
e_m=[I_n-F_{m-1}F_{m-1}^+]f_m
em=[In−Fm−1Fm−1+]fm
Δ
m
−
1
=
[
f
m
H
e
m
]
−
1
\Delta_m^{-1}=[f_m^He_m]^{-1}
Δm−1=[fmHem]−1
且初始值为
F
1
+
=
f
1
H
/
(
f
1
H
f
1
)
F_1^+=f_1^H/(f_1^Hf_1)
F1+=f1H/(f1Hf1)
2.2 右伪逆矩阵的阶数递推
考虑矩阵
F
m
∈
C
n
×
m
,
n
<
m
F_m\in C^{n\times m},n<m
Fm∈Cn×m,n<m。
定理
记
F
m
=
[
F
m
−
1
,
f
m
]
F_m=[F_{m-1},f_m]
Fm=[Fm−1,fm],则右伪逆矩阵
F
m
+
=
F
m
H
(
F
m
F
m
H
)
−
1
F_m^+=F_m^H(F_mF_m^H)^{-1}
Fm+=FmH(FmFmH)−1具有以下递推公式:
F
m
+
=
[
F
m
−
1
+
−
Δ
m
F
m
−
1
+
f
m
c
m
Δ
m
c
m
H
]
F_m^+= \begin{bmatrix} F_{m-1}^+-\Delta_mF_{m-1}^+f_mc_m\\ \Delta_mc_m^H \end{bmatrix}
Fm+=[Fm−1+−ΔmFm−1+fmcmΔmcmH]
式中,
c
m
H
=
f
m
H
(
I
n
−
F
m
−
1
F
m
−
1
+
)
,
Δ
m
=
c
m
H
f
m
c_m^H=f_m^H(I_n-F_{m-1}F_{m-1}^+),\Delta_m =c_m^Hf_m
cmH=fmH(In−Fm−1Fm−1+),Δm=cmHfm。递推的初始值为
F
1
+
=
f
1
H
/
(
f
1
H
f
1
)
F_1^+=f_1^H/(f_1^Hf_1)
F1+=f1H/(f1Hf1)。
3. 矩阵的直和
定义
m
×
m
m\times m
m×m矩阵
A
A
A与
n
×
n
n\times n
n×n矩阵
B
B
B的直和记作
A
⊕
B
A \oplus B
A⊕B,它是一个
(
m
+
n
)
×
(
m
+
n
)
(m+n)\times (m+n)
(m+n)×(m+n)矩阵,定义为
A
⨁
B
=
[
A
O
m
×
n
O
n
×
m
B
]
A\bigoplus B= \begin{bmatrix} A & O_{m\times n}\\ O_{n\times m} & B \end{bmatrix}
A⨁B=[AOn×mOm×nB]
需要注意,两个矩阵的直和不是两个矩阵元素之间的任何求和运算,只是一种形式上的求和符号,其真实涵义是将两个矩阵按照对角线位置堆放,直接组合成一个更大维数的矩阵。类似地,还可以定义多个矩阵的直和,如:
B
=
⨁
i
=
0
N
−
1
A
i
=
A
0
⊕
A
1
⊕
⋅
⋅
⋅
⊕
A
N
−
1
=
[
A
0
A
1
⋱
A
N
−
1
]
B=\bigoplus_{i=0}^{N-1}A_i=A_0 \oplus A_1 \oplus ··· \oplus A_{N-1}= \begin{bmatrix} A_0& & &\\ & A_1&&\\ &&\ddots& \\ &&& A_{N-1} \end{bmatrix}
B=i=0⨁N−1Ai=A0⊕A1⊕⋅⋅⋅⊕AN−1=⎣
⎡A0A1⋱AN−1⎦
⎤
根据定义,容易证明矩阵的直和具有以下性质[224],[386]。
(1)若
c
c
c为常数,则
c
(
A
⊕
B
)
=
c
A
⊕
c
B
c(A \oplus B)=cA\oplus cB
c(A⊕B)=cA⊕cB。
(2)若
A
≠
B
A≠B
A=B,则
A
⊕
B
≠
B
⊕
A
A\oplus B≠ B\oplus A
A⊕B=B⊕A。
(3)矩阵直和的复共轭、转置、复共轭转置与逆矩阵:
(
A
⊕
B
)
∗
=
A
∗
⊕
B
∗
(A\oplus B)^*=A^*\oplus B^*
(A⊕B)∗=A∗⊕B∗
( A ⊕ B ) T = A T ⊕ B T (A\oplus B)^T=A^T\oplus B^T (A⊕B)T=AT⊕BT
( A ⊕ B ) H = A H ⊕ B H (A\oplus B)^H=A^H \oplus B^H (A⊕B)H=AH⊕BH
( A ⊕ B ) − 1 = A − 1 ⊕ B − − 1 , A , B 可逆 (A\oplus B)^{-1}=A^{-1}\oplus B-^{-1}, A,B可逆 (A⊕B)−1=A−1⊕B−−1,A,B可逆
(4)若
A
,
B
A,B
A,B为
m
×
m
m\times m
m×m矩阵,且
C
,
D
C,D
C,D为
n
×
n
n\times n
n×n矩阵,则
(
A
±
B
)
⊕
(
C
±
D
)
=
(
A
⊕
C
)
±
(
B
⊕
D
)
(A±B)\oplus (C±D)=(A\oplus C)±(B\oplus D)
(A±B)⊕(C±D)=(A⊕C)±(B⊕D)
( A ⊕ C ) ( B ⊕ D ) = A B ⊕ C D (A\oplus C)(B\oplus D)=AB\oplus CD (A⊕C)(B⊕D)=AB⊕CD
(5)若
A
,
B
,
C
A,B,C
A,B,C分别是
m
×
m
,
n
x
×
n
,
p
×
p
m\times m,nx\times n,p\times p
m×m,nx×n,p×p矩阵,则
A
⊕
(
B
⊕
C
)
=
(
A
⊕
B
)
⊕
C
=
A
⊕
B
⊕
C
A\oplus (B\oplus C)=(A\oplus B)\oplus C=A\oplus B\oplus C
A⊕(B⊕C)=(A⊕B)⊕C=A⊕B⊕C
(6)矩阵直和的迹、秩、行列式:
t
r
(
⨁
i
=
0
N
−
1
A
i
)
=
∑
i
=
0
N
−
1
t
r
(
A
i
)
tr(\bigoplus_{i=0}^{N-1}A_i)=\sum_{i=0}^{N-1}tr(A_i)
tr(⨁i=0N−1Ai)=∑i=0N−1tr(Ai)
r a n k ( ⨁ i = 0 N − 1 A i ) = ∑ i = 0 N − 1 r a n k ( A i ) rank(\bigoplus_{i=0}^{N-1}A_i)=\sum_{i=0}^{N-1}rank(A_i) rank(⨁i=0N−1Ai)=∑i=0N−1rank(Ai)
d e t ( ⨁ i = 0 N − 1 A i ) = ∏ i = 0 N − 1 d e t ( A i ) det(\bigoplus_{i=0}^{N-1}A_i)=\prod_{i=0}^{N-1}det(A_i) det(⨁i=0N−1Ai)=∏i=0N−1det(Ai)
(7)若 A , B A,B A,B分别是 m × m m\times m m×m, n × n n\times n n×n正交矩阵,则 A ⊕ B A \oplus B A⊕B是 ( m + n ) × ( m + n ) (m+n)\times (m+n) (m+n)×(m+n)正交矩阵。
4. Hadamard积
定义
m
×
n
m\times n
m×n矩阵
A
=
[
a
−
i
j
]
A=[a-{ij}]
A=[a−ij]与
m
×
n
m\times n
m×n矩阵
B
=
[
b
i
j
]
B=[b_{ij}]
B=[bij]的Hadamard积记作
A
⊙
B
A\odot B
A⊙B,它仍然是一个
m
×
n
m\times n
m×n矩阵,定义为
A
⊙
B
=
[
a
i
j
b
i
j
]
A\odot B=[a_{ij}b_{ij}]
A⊙B=[aijbij]
Hadamard积也称Schur积或者对应元素乘积。
矩阵Hadamard积的一个主要结果是下面的Hadamard积定理。
定理
若
m
×
m
m\times m
m×m矩阵
A
,
B
A,B
A,B是正定(或半正定)的,则它们的Hadamard积
A
⊙
B
A\odot B
A⊙B也是正定(或半正定)的。
推论(Fejer定理)
令
A
A
A是一个
m
×
m
m\times m
m×m矩阵,则
A
A
A是半正定矩阵,当且仅当
∑
i
=
1
m
∑
j
=
1
m
a
i
j
b
i
j
≥
0
\sum_{i=1}^m\sum_{j=1}^ma_{ij}b_{ij} \geq 0
i=1∑mj=1∑maijbij≥0
对所有
m
×
m
m\times m
m×m半正定矩阵
B
B
B成立。
下面的两个定理描述了矩阵的Hadamard积与迹之间的关系。
定理
令
A
,
B
,
C
A,B,C
A,B,C为
m
×
n
m\times n
m×n矩阵,并且
1
=
[
1
,
1
,
…
,
1
]
T
1=[1,1,…,1]^T
1=[1,1,…,1]T为
n
×
1
n\times 1
n×1求和向
量,
D
=
d
i
a
g
(
d
1
,
d
2
,
…
,
d
m
)
D=diag(d_1,d_2,…,d_m)
D=diag(d1,d2,…,dm),其中,
d
i
=
∑
j
=
1
n
a
i
j
d_i=\sum_{j=1}^na_{ij}
di=∑j=1naij,则
t
r
(
A
T
(
B
⊙
C
)
)
=
t
r
(
(
A
T
⊙
B
T
)
C
)
tr(A^T(B \odot C)) = tr((A^T \odot B^T)C)
tr(AT(B⊙C))=tr((AT⊙BT)C)
和
1
T
A
T
(
B
⊙
C
)
1
=
t
r
(
B
T
D
C
)
1^TA^T(B \odot C)1=tr(B^TDC)
1TAT(B⊙C)1=tr(BTDC)
定理
令
A
,
B
A,B
A,B为
n
×
n
n\times n
n×n正方矩阵,并且
1
=
[
1
,
1
,
…
,
1
]
T
1=[1,1,…,1]^T
1=[1,1,…,1]T为
n
×
1
n\times 1
n×1求和向量。假定
M
M
M是一个
n
×
n
n\times n
n×n对角矩阵
M
=
d
i
a
g
(
u
1
,
u
2
,
…
,
u
n
)
M=diag(u_1,u_2,…,u_n)
M=diag(u1,u2,…,un),而
m
=
M
1
m=M1
m=M1为
n
×
1
n\times 1
n×1向量,
则有
t
r
(
A
M
B
T
M
)
=
m
T
(
A
⊙
B
)
m
tr(AMB^TM)=m^T(A\odot B)m
tr(AMBTM)=mT(A⊙B)m
t r ( A B T ) = 1 T ( A ⊙ B ) 1 tr(AB^T)=1^T(A\odot B)1 tr(ABT)=1T(A⊙B)1
M A ⊙ B T M = M ( A ⊙ B T ) M MA\odot B^TM=M(A\odot B^T)M MA⊙BTM=M(A⊙BT)M
5. Hadamard积的性质
(1)若
A
,
B
A,B
A,B均为
m
×
n
m\times n
m×n矩阵,则
A
⊙
B
=
B
⊙
A
A\odot B=B\odot A
A⊙B=B⊙A
( A ⊙ B ) T = A T ⊙ B T (A\odot B)^T=A^T\odot B^T (A⊙B)T=AT⊙BT
( A ⊙ B ) H = A H ⊙ B H (A\odot B^)H=A^H\odot B^H (A⊙B)H=AH⊙BH
(
A
⊙
B
)
∗
=
A
∗
⊙
B
∗
(A\odot B)^*=A^*\odot B^*
(A⊙B)∗=A∗⊙B∗
(2)任何一个
m
×
n
m\times n
m×n矩阵
A
A
A与
m
×
n
m\times n
m×n零矩阵
O
m
×
n
O_{m\times n}
Om×n的Hadamard积等于
m
×
n
m\times n
m×n零矩阵,即
A
⊙
O
m
×
n
=
O
m
×
n
⊙
A
=
O
m
×
n
A\odot O_{m\times n}=O_{m\times n} \odot A=O_{m\times n}
A⊙Om×n=Om×n⊙A=Om×n
(3) 若
c
c
c为常数,则
c
(
A
⊙
B
)
=
(
c
A
)
⊙
B
=
A
⊙
(
c
B
)
c(A\odot B)=(cA)\odot B=A\odot (cB)
c(A⊙B)=(cA)⊙B=A⊙(cB)
(4)矩阵
A
m
×
m
=
[
a
i
j
]
A_{m\times m}=[a_{ij}]
Am×m=[aij]与单位矩阵
I
m
I_m
Im的Hadamard积为
m
×
m
m\times m
m×m对角矩阵,即
.
A
⊙
I
m
=
I
m
⊙
A
=
d
i
a
g
(
A
)
=
d
i
a
g
(
a
11
,
a
22
,
…
,
a
m
m
)
.A\odot I_m=I_m\odot A=diag(A)=diag(a_{11},a_{22},…,a_{mm})
.A⊙Im=Im⊙A=diag(A)=diag(a11,a22,…,amm)
(5)若
A
,
B
,
C
,
D
A,B,C,D
A,B,C,D均为
m
×
n
m\times n
m×n矩阵,则
A
⊙
(
B
⊙
C
)
=
(
A
⊙
B
)
⊙
C
=
A
⊙
B
⊙
C
A\odot (B\odot C)=(A\odot B)\odot C=A\odot B \odot C
A⊙(B⊙C)=(A⊙B)⊙C=A⊙B⊙C
(
A
+
B
)
⊙
C
=
A
⊙
C
+
B
⊙
C
(A+B)\odot C=A\odot C+B\odot C
(A+B)⊙C=A⊙C+B⊙C
(
A
+
B
)
⊙
(
C
+
D
)
=
A
⊙
C
+
A
⊙
D
+
B
⊙
C
+
B
⊙
D
(A+B)\odot (C+D)=A\odot C+A\odot D+B\odot C+B\odot D
(A+B)⊙(C+D)=A⊙C+A⊙D+B⊙C+B⊙D
(6)若
A
,
C
A,C
A,C为
m
×
m
m\times m
m×m矩阵,并且
B
,
D
B,D
B,D为
n
×
n
n\times n
n×n矩阵,则
(
A
⊕
B
)
⊙
(
C
⊕
D
)
=
(
A
⊙
C
)
⊕
(
B
⊙
D
)
(A\oplus B)\odot (C\oplus D)=(A\odot C)\oplus (B\odot D)
(A⊕B)⊙(C⊕D)=(A⊙C)⊕(B⊙D)
(7)若
A
,
B
,
C
A,B,C
A,B,C为
m
×
n
m\times n
m×n矩阵,则
t
r
(
A
T
(
B
⊙
C
)
)
=
t
r
(
(
A
T
⊙
B
T
)
C
)
tr(A^T(B\odot C))=tr((A^T \odot B^T)C)
tr(AT(B⊙C))=tr((AT⊙BT)C)
(8)若
A
,
B
,
D
A,B,D
A,B,D为
m
×
m
m\times m
m×m矩阵,则
D
为对角矩阵
⇒
(
D
A
)
⊙
(
B
D
)
=
D
(
A
⊙
B
)
D
D为对角矩阵 \Rightarrow (DA) \odot (BD)=D(A\odot B)D
D为对角矩阵⇒(DA)⊙(BD)=D(A⊙B)D
(9)若
m
×
m
m\times m
m×m矩阵
A
,
B
A,B
A,B是正定(或半正定)的,则它们的Hadamard积
A
⊙
B
A \odot B
A⊙B也是正定(或半正定)的。