矩阵分解笔记
文章目录
矩阵的三个基本分解
长方阵的分解
长方阵的基本分解
定理 1.1
设
A
∈
C
r
m
×
n
A \in \mathbf{C}_{r}^{m \times n}
A∈Crm×n, 其中
r
=
rank
(
A
)
r=\operatorname{rank}(A)
r=rank(A), 则存在可逆矩阵
P
∈
C
m
×
m
,
Q
∈
C
n
×
n
P \in \mathbf{C}^{m \times m}, Q \in \mathbf{C}^{n \times n}
P∈Cm×m,Q∈Cn×n, 使得
A
=
P
(
I
r
0
0
0
)
Q
,
(
r
≤
min
{
m
,
n
}
)
,
或
A
=
P
(
I
m
,
0
)
Q
,
(
r
=
m
<
n
)
,
或
A
=
P
(
I
n
0
)
Q
,
(
r
=
n
<
m
)
, 或
A
=
P
Q
,
(
r
=
m
=
n
)
.
\begin{aligned} &A=P\left(\begin{array}{cc} I_{r} & 0 \\ 0 & 0 \end{array}\right) Q, \quad(r \leq \min \{m, n\}), \text { 或 } \\ &A=P\left(I_{m}, 0\right) Q, \quad(r=m<n), \text { 或 } \\ &A=P\left(\begin{array}{c} I_{n} \\ 0 \end{array}\right) Q, \quad(r=n<m) \text {, 或 } \\ &A=P Q, \quad(r=m=n) . \end{aligned}
A=P(Ir000)Q,(r≤min{m,n}), 或 A=P(Im,0)Q,(r=m<n), 或 A=P(In0)Q,(r=n<m), 或 A=PQ,(r=m=n).
长方阵的满秩分解
推论 1.1
设
A
∈
C
r
m
×
n
A \in \mathbf{C}_{r}^{m \times n}
A∈Crm×n, 其中
r
=
r
a
n
k
(
A
)
r=r a n k(A)
r=rank(A), 则存在列满秩矩阵
F
∈
C
r
m
×
r
F \in \mathbf{C}_{r}^{m \times r}
F∈Crm×r 和行满秩矩阵
G
∈
C
r
r
×
n
G \in \mathbf{C}_{r}^{r \times n}
G∈Crr×n, 使得
A
=
F
G
.
A=F G \text {. }
A=FG.
方阵的分解
Jordan 分解
定理 1.2
设
A
∈
C
n
×
n
A \in \mathbf{C}^{n \times n}
A∈Cn×n, 矩阵
J
J
J 是
A
A
A 的Jordan标准形, 则 存在可逆矩阵
P
∈
C
n
×
n
P \in \mathbf{C}^{n \times n}
P∈Cn×n 使得
P
−
1
A
P
=
J
, 即
A
=
P
J
P
−
1
P^{-1} A P=J \text {, 即 } A=P J P^{-1}
P−1AP=J, 即 A=PJP−1
Schur 分解
定理 1.3
设
A
∈
C
n
×
n
A \in \mathbf{C}^{n \times n}
A∈Cn×n,
⇒
\Rightarrow
⇒ 存在酉矩阵
U
∈
C
n
×
n
U \in \mathbf{C}^{n \times n}
U∈Cn×n, 使得
U
−
1
A
U
=
U
H
A
U
=
T
U^{-1} A U=U^{H} A U=T
U−1AU=UHAU=T, 即
A
=
U
T
U
−
1
=
U
T
U
H
A=U T U^{-1}=U T U^{H}
A=UTU−1=UTUH
其中
T
=
(
λ
1
λ
2
∗
⋱
λ
n
)
为上三角阵,
\text { 其中 } T=\left(\begin{array}{cccc} \lambda_{1} & & & \\ & \lambda_{2} & & * \\ & & \ddots & \\ & & & \lambda_{n} \end{array}\right) \text { 为上三角阵, }
其中 T=⎝⎜⎜⎛λ1λ2⋱∗λn⎠⎟⎟⎞ 为上三角阵,
λ
1
,
λ
2
,
⋯
,
λ
n
\lambda_{1}, \lambda_{2}, \cdots, \lambda_{n}
λ1,λ2,⋯,λn 是
A
A
A 的特征值.
矩阵的三角分解
定义
定义 2.1
设
A
∈
C
n
×
n
A \in \mathbf{C}^{n \times n}
A∈Cn×n, 如果存在下三角矩阵
L
∈
C
n
×
n
L \in \mathbf{C}^{n \times n}
L∈Cn×n 和上三角矩阵
R
∈
C
n
×
n
R \in \mathbf{C}^{n \times n}
R∈Cn×n, 使得
A
=
L
R
A=L R
A=LR
则称上述分解为
A
A
A 的三角分解, 或称
A
A
A 可三角分解.
可逆矩阵的三角分解的条件
定理 2.1
设 A ∈ C n n × n A \in \mathbf{C}_{n}{ }^{n \times n} A∈Cnn×n,则 A A A 可作三角分解的充分必要条件是 A A A 的 n n n 个顺序主子式全不为零.
此定理说明:并不是所有可逆矩阵都可以作三角分解.
例如:
矩阵
A
=
(
0
1
1
0
)
A=\left(\begin{array}{ll}0 & 1 \\ 1 & 0\end{array}\right)
A=(0110), 就不能做三角分解.
不可逆矩阵的三角分解
定理 2.2
设 A ∈ C r n × n A \in \mathbf{C}_{r}^{n \times n} A∈Crn×n, 且 A A A 的前 r r r 个顺序主子式不为零, 即 Δ k ≠ 0 , k = 1 , 2 , ⋯ , r \Delta_{k} \neq 0, k=1,2, \cdots, r Δk=0,k=1,2,⋯,r, 则 A A A 可作三角分解.
此定理的条件仅是充分的.
例如:
矩阵
A
=
(
0
0
1
2
)
A=\left(\begin{array}{ll}0 & 0 \\ 1 & 2\end{array}\right)
A=(0102) 的秩为 1 , 不满足定理的条件, 但
A
=
(
0
0
1
2
)
=
(
0
0
1
1
)
(
1
1
0
1
)
A=\left(\begin{array}{ll}0 & 0 \\ 1 & 2\end{array}\right)=\left(\begin{array}{ll}0 & 0 \\ 1 & 1\end{array}\right)\left(\begin{array}{ll}1 & 1 \\ 0 & 1\end{array}\right)
A=(0102)=(0101)(1011) 有三角分解.
几个特殊分解
Doolittle 分解
定义 2.2
设
A
∈
C
n
×
n
A \in \mathbf{C}^{n \times n}
A∈Cn×n, 如果
A
A
A 可分解为
A
=
L
R
A=L R
A=LR, 其中
L
L
L 是对角元素
为1的下三角矩阵 (称为单位下三角矩阵)
R
R
R 是上三角矩阵, 则称上述分解为
A
A
A 的 Doolittle 分解.
Crout 分解
定义 2.3
设 A ∈ C n × n A \in \mathbf{C}^{n \times n} A∈Cn×n, 如果 L L L 是下三角矩阵, R R R 是单位上三角矩阵, 则称 上述分解为 A A A 的 Crout 分解.
定理 2.3
设 A ∈ C n n × n A \in \mathbf{C}_{n}^{n \times n} A∈Cnn×n, 且 A A A 的顺序主子式不为零, 则 A A A 的 Doolitte 分解与Crout分解存在且唯一
LDR 分解
定义 2.4
设
A
∈
C
n
×
n
A \in \mathbf{C}^{n \times n}
A∈Cn×n, 如果
A
A
A 可分解为
A
=
L
D
R
A=L D R
A=LDR, 其中
L
L
L 是单位
下三角矩阵,
R
R
R 是单位上三角矩阵,
D
D
D 是对角矩阵, 则称上述分解为
A
A
A 的LDR分解.
定理 2.4
设
A
∈
C
n
n
×
n
A \in \mathbf{C}_{n}{ }^{n \times n}
A∈Cnn×n, 且
A
A
A 的
n
n
n 个顺序主子式
Δ
1
,
Δ
2
,
⋯
,
Δ
n
\Delta_{1}, \Delta_{2}, \cdots, \Delta_{\mathrm{n}}
Δ1,Δ2,⋯,Δn 不为零, 则
A
A
A 存在唯一的LDR分解. 且对角矩阵
D
=
diag
{
d
1
,
d
2
,
⋯
,
d
n
}
D=\operatorname{diag}\left\{d_{1}, d_{2}, \cdots, d_{n}\right\}
D=diag{d1,d2,⋯,dn} 的元素满足
d
1
=
Δ
1
,
d
k
=
Δ
k
Δ
k
−
1
,
k
=
2
,
3
,
⋯
,
n
d_{1}=\Delta_{1}, d_{k}=\frac{\Delta_{k}}{\Delta_{k-1}}, k=2,3, \cdots, n
d1=Δ1,dk=Δk−1Δk,k=2,3,⋯,n
正定 Hermite 矩阵的三角分解
定义 2.5
设
A
∈
C
n
×
n
A \in \mathbf{C}^{n \times n}
A∈Cn×n, 如果存在下三角矩阵
G
∈
C
n
×
n
G \in \mathbf{C}^{n \times n}
G∈Cn×n, 使得
A
=
G
G
H
A=G G^{H}
A=GGH
则称上述分解为
A
A
A 的 Cholesky 分解.
定理 2.5
设
A
∈
C
n
×
n
A \in \mathbf{C}^{n \times n}
A∈Cn×n 是正定的Hermite矩阵,则存在下三角
矩阵
G
∈
C
n
×
n
G \in \mathbf{C}^{n \times n}
G∈Cn×n, 使得
A
=
G
G
H
A=G G^{H}
A=GGH
即
A
A
A 可作 Cholesky 分解.
矩阵的QR分解
Householder 矩阵
定义
定义 3.1
设
u
∈
C
n
u \in \mathbf{C}^{n}
u∈Cn 是单位向量, 即
u
H
u
=
∣
∣
u
∣
∣
2
=
1
u^{H} u=\mid\mid u\mid\mid^{2}=1
uHu=∣∣u∣∣2=1, 称
H
=
I
−
2
u
u
H
H=I-2 u u^{H}
H=I−2uuH
为 Householder 矩阵, 或初等反射矩阵.
基本性质
定理 3.1
设 H ∈ C n × n H \in \mathbf{C}^{n \times n} H∈Cn×n 是Householder矩阵, 则
(1) H H H 是Hermite矩阵, 即 H H = H H^{H}=H HH=H;
(2) H H H 是酉矩阵, 即 H H H = I H^{H} H=I HHH=I;
(3) H H H 是对合矩阵, 即 H 2 = I H^{2}=I H2=I;
(4) H H H 是自逆矩阵, 即 H − 1 = H H^{-1}=H H−1=H;
(5) det H = − 1 H=-1 H=−1;
( 6 ) ( I r 0 0 H ) (6)\left(\begin{array}{cc}I_{r} & 0 \\ 0 & H\end{array}\right) (6)(Ir00H) 是 n + r n+r n+r 阶 Householder 矩阵.
Householder 变换
定义 3.2
由 Householder 矩阵
H
H
H 确定的
C
n
\mathbf{C}^{n}
Cn 上的线性变换
y
=
H
x
,
y=H x,
y=Hx,
称为 Householder 变换或初等反射变换.
定理 3.3
设
z
∈
C
n
z \in \mathbf{C}^{n}
z∈Cn 是单位向量, 则对于任意向量
x
∈
C
n
x \in \mathbf{C}^{n}
x∈Cn, 存在
Householder矩阵
H
=
I
−
2
u
u
H
H=I-2 u u^{H}
H=I−2uuH, 使得
H
x
=
α
z
,
H x=\alpha z,
Hx=αz,
其中
∣
α
∣
=
∣
∣
x
∣
∣
=
x
H
x
\mid\alpha\mid=\mid\mid x\mid\mid=\sqrt{x^{H} x}
∣α∣=∣∣x∣∣=xHx, 且
α
x
H
z
\alpha x^{H} z
αxHz 为实数.
推论 3.1
对于任意向量
x
∈
C
n
x \in \mathbf{C}^{n}
x∈Cn, 存在 Householder矩阵
H
=
I
−
2
u
u
H
H=I-2 u u^{H}
H=I−2uuH, 使得
H
x
=
α
e
1
,
H x=\alpha e_{1} \text {, }
Hx=αe1,
其中
∣
α
∣
=
∣
∣
x
∣
∣
=
x
H
x
\mid\alpha\mid=\mid\mid x\mid\mid=\sqrt{x^{H} x}
∣α∣=∣∣x∣∣=xHx, 且
α
x
H
e
1
\alpha x^{H} e_{1}
αxHe1 为实数,
e
1
=
(
1
,
0
,
⋯
,
0
)
T
.
e_{1}=(1,0, \cdots, 0)^{T} \text {. }
e1=(1,0,⋯,0)T.
推论 3.2
对于任意向量
x
∈
R
n
x \in \mathbf{R}^{n}
x∈Rn, 存在 Householder 矩阵
H
=
I
−
2
u
u
T
,
(
u
∈
R
n
H=I-2 u u^{T},\left(u \in \mathbf{R}^{n}\right.
H=I−2uuT,(u∈Rn, 且
u
T
u
=
1
)
\left.u^{T} u=1\right)
uTu=1),
使得
H
x
=
α
e
1
H x=\alpha e_{1}
Hx=αe1, 其中
α
=
±
∣
∣
x
∣
∣
=
x
T
x
\alpha=\pm\mid\mid x\mid\mid=\sqrt{x^{T} x}
α=±∣∣x∣∣=xTx.
Notations
利用推论 1,2 , 可用 Householder 变换化向量 x x x 与 e Y e_{Y} eY 共线, 方法:
(1)取, u = x − α e 1 ∣ ∣ x − α e 1 ∣ ∣ , ∣ α ∣ = ∣ ∣ x ∣ ∣ u=\frac{x-\alpha e_{1}}{\mid\mid x-\alpha e_{1}\mid\mid},\mid\alpha\mid=\mid\mid x\mid\mid u=∣∣x−αe1∣∣x−αe1,∣α∣=∣∣x∣∣, 且 α x H e 1 \alpha x^{H} e_{1} αxHe1 为实数;
(2) 令, H = I − 2 u u H H=I-2 u u^{H} H=I−2uuH, 则 H x = α e 1 H x=\alpha e_{1} Hx=αe1.
矩阵的 QR 分解
一般矩阵的 QR 分解
定义 3.3
设
A
∈
C
n
×
n
A \in \mathbf{C}^{n \times n}
A∈Cn×n, 如果存在
n
n
n 阶酉矩阵
Q
Q
Q 和
n
n
n 阶上三角 矩阵
R
R
R, 使得
A
=
Q
R
,
A=Q R,
A=QR,
则称它为
A
A
A 的
Q
R
Q R
QR 分解或酉
−
-
− 三角分解.
当 A ∈ R n × n A \in \mathbf{R}^{n \times n} A∈Rn×n 时,则称它为 A A A 的正交 − - − 三角分解.
定理 3.4
设
A
∈
C
n
×
n
A \in \mathbf{C}^{n \times n}
A∈Cn×n, 则存在
n
n
n 阶酉矩阵
Q
Q
Q 及三角矩阵
R
R
R, 使得
A
=
Q
R
,
A=Q R,
A=QR,
即任意
A
∈
C
n
×
n
A \in \mathbf{C}^{n \times n}
A∈Cn×n 都可作
Q
R
Q R
QR 分解.
推论 3.1
设
A
∈
R
n
×
n
A \in \mathbf{R}^{n \times n}
A∈Rn×n, 则存在
n
n
n 阶正交矩阵
Q
Q
Q 及实上三角矩阵
R
R
R, 使得
A
=
Q
R
A=Q R
A=QR
可逆矩阵的 QR 分解
定理 3.5
设
A
∈
C
n
n
×
n
A \in \mathbf{C}_{n}^{n \times n}
A∈Cnn×n, 则存在唯一的酉矩阵
Q
Q
Q 及唯一的上三角矩阵
R
R
R, 使得
A
=
Q
R
A=Q R
A=QR
这里
R
∈
C
n
n
×
n
\mathbf{R} \in \mathbf{C}_{n}^{n \times n}
R∈Cnn×n 是主对角线为正数的可逆上三角矩阵.
矩阵的奇异值分解
矩阵的奇异值
矩阵的酉等价
定义 4.1
设
A
,
B
∈
C
m
×
n
A, B \in \mathbf{C}^{m \times n}
A,B∈Cm×n, 如果存在
m
m
m 阶酉矩阵
U
∈
C
m
×
m
U \in \mathbf{C}^{m \times m}
U∈Cm×m 和
n
n
n 阶酉矩阵
V
∈
C
n
×
n
V \in \mathbf{C}^{n \times n}
V∈Cn×n 使得
B
=
U
H
A
V
,
B=U^{H} A V,
B=UHAV,
则称
A
A
A 与
B
B
B 酉等价.
定义 4.2
设 A ∈ C r m × n ( r > 0 ) , A H A A \in \mathbf{C}_{r}^{m \times n}(r>0), A^{H} A A∈Crm×n(r>0),AHA 的特征值为 λ 1 ≥ λ 2 ≥ ⋯ ≥ λ r > λ r + 1 = ⋯ = λ n = 0 , \lambda_{1} \geq \lambda_{2} \geq \cdots \geq \lambda_{r}>\lambda_{r+1}=\cdots=\lambda_{n}=0, \quad λ1≥λ2≥⋯≥λr>λr+1=⋯=λn=0, 则称 σ i = λ i , ( i = 1 , 2 , ⋯ , r ) \sigma_{i}=\sqrt{\lambda_{i}},(i=1,2, \cdots, r) σi=λi,(i=1,2,⋯,r) 为 A A A 的奇异值. (一般指非零奇异值)
如 A = ( 1 0 0 2 0 0 ) ∈ C 1 2 × 3 A=\left(\begin{array}{lll}1 & 0 & 0 \\ 2 & 0 & 0\end{array}\right) \in \mathbf{C}_{1}^{2 \times 3} A=(120000)∈C12×3, 则 A H A = ( 5 0 0 0 0 0 0 0 0 ) A^{H} A=\left(\begin{array}{lll}5 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0\end{array}\right) AHA=⎝⎛500000000⎠⎞, λ 1 = 5 , λ 2 = λ 3 = 0 , A \lambda_{1}=5, \lambda_{2}=\lambda_{3}=0, A λ1=5,λ2=λ3=0,A 的一个奇异值为 σ 1 = 5 \sigma_{1}=\sqrt{5} σ1=5.
Notations
(1) $ r=\operatorname{rank}(A)=\operatorname{rank}\left(A^{H} A\right)=\operatorname{rank}\left(A A^{H}\right)$ = A =A =A 的非零奇异值的个数.
(2) 设
A
∈
C
r
m
×
n
A \in \mathbf{C}_{r}^{m \times n}
A∈Crm×n, 则
A
H
A
A^{H} A
AHA 是
n
n
n 阶非负定的 Hermite 矩阵,
A
A
H
A A^{H}
AAH 是
m
m
m 阶非负定的 Hermite 矩阵, 由于
λ
m
∣
λ
I
n
−
A
H
A
∣
=
λ
n
∣
λ
I
m
−
A
A
H
∣
\lambda^{m}\left|\lambda I_{n}-A^{H} A\right|=\lambda^{n}\left|\lambda I_{m}-A A^{H}\right|
λm∣∣λIn−AHA∣∣=λn∣∣λIm−AAH∣∣
不妨设
n
≥
m
n \geq m
n≥m, 则
∣
λ
I
n
−
A
H
A
∣
=
λ
n
−
m
∣
λ
I
m
−
A
A
H
∣
\left|\lambda I_{n}-A^{H} A\right|=\lambda^{n-m}\left|\lambda I_{m}-A A^{H}\right|
∣∣λIn−AHA∣∣=λn−m∣∣λIm−AAH∣∣ 所以,
A
H
A
A^{H} A
AHA 与
A
A
H
A A^{H}
AAH 有相同的非零特征值; 即
A
H
A^{H}
AH 与
A
A
A 有相同的非零奇异值.
定理 4.1
酉等价的矩阵的奇异值相同.
矩阵的奇异值分解
定理 4.2
设
A
∈
C
r
m
×
n
(
r
>
0
)
,
σ
1
≥
σ
2
≥
⋯
≥
σ
r
>
0
A \in \mathbf{C}_{r}^{m \times n}(r>0), \sigma_{1} \geq \sigma_{2} \geq \cdots \geq \sigma_{r}>0
A∈Crm×n(r>0),σ1≥σ2≥⋯≥σr>0 是
A
A
A 的
r
r
r 个奇异值, 则存在酉矩阵
U
∈
C
m
×
m
,
V
∈
C
n
×
n
U \in \mathbf{C}^{m \times m}, V \in \mathbf{C}^{n \times n}
U∈Cm×m,V∈Cn×n, 使得
A
=
U
(
Σ
0
0
0
)
V
H
, 其中,
Σ
=
(
σ
1
σ
2
⋱
σ
r
)
A=U\left(\begin{array}{ll} \Sigma & 0 \\ 0 & 0 \end{array}\right) V^{H} \text {, 其中, } \Sigma=\left(\begin{array}{cccc} \sigma_{1} & & & \\ & \sigma_{2} & & \\ & & \ddots & \\ & & & \sigma_{r} \end{array}\right)
A=U(Σ000)VH, 其中, Σ=⎝⎜⎜⎛σ1σ2⋱σr⎠⎟⎟⎞
A
=
U
(
Σ
0
0
0
)
V
H
\boldsymbol{A}=\boldsymbol{U}\left(\begin{array}{ll}\boldsymbol{\Sigma} & \boldsymbol{0} \\ \boldsymbol{0} & 0\end{array}\right) V^{H}
A=U(Σ000)VH 称为
A
A
A 的奇异值分解 (SVD: Singular Value Decomposition)
推论 4.1
设
A
∈
C
n
n
×
n
A \in \mathbf{C}_{n}^{n \times n}
A∈Cnn×n, 则存在
n
n
n 阶酉矩阵
U
,
V
U, V
U,V, 使得
U
H
A
V
=
diag
(
σ
1
,
σ
2
,
⋯
,
σ
n
)
U^{H} A V=\operatorname{diag}\left(\sigma_{1}, \sigma_{2}, \cdots, \sigma_{n}\right)
UHAV=diag(σ1,σ2,⋯,σn)
其中,
σ
i
>
0
(
i
=
1
,
2
,
⋯
,
n
)
\sigma_{i}>0(i=1,2, \cdots, n)
σi>0(i=1,2,⋯,n) 为
A
A
A 的奇异值.
矩阵的奇异值分解的一般步骤
设 A ∈ C r m × n ( r > 0 ) A \in \mathbf{C}_{r}^{m \times n}(r>0) A∈Crm×n(r>0),
(1) 求 A H A A^{H} A AHA 的特征值 λ 1 ≥ λ 2 ≥ ⋯ ≥ λ r > λ r + 1 = ⋯ = λ n = 0 \lambda_{1} \geq \lambda_{2} \geq \cdots \geq \lambda_{r}>\lambda_{r+1}=\cdots=\lambda_{n}=0 λ1≥λ2≥⋯≥λr>λr+1=⋯=λn=0, 并计算 A A A 的奇异值 σ i = λ i , ( i = 1 , 2 , ⋯ , r ) \sigma_{i}=\sqrt{\lambda_{i}},(i=1,2, \cdots, r) σi=λi,(i=1,2,⋯,r), Σ = diag { σ 1 , σ 2 , ⋯ , σ r } \Sigma=\operatorname{diag}\left\{\sigma_{1}, \sigma_{2}, \cdots, \sigma_{r}\right\} Σ=diag{σ1,σ2,⋯,σr}
(2)求 A H A A^{H} A AHA 所有特征向量并正交单位化得: P 1 , P 2 , ⋯ , P n P_{1}, P_{2}, \cdots, P_{n} P1,P2,⋯,Pn, 则 V = ( P 1 , P 2 , ⋯ , P n ) V=\left(P_{1}, P_{2}, \cdots, P_{n}\right) V=(P1,P2,⋯,Pn), 此时, V H A H A V = ( Σ 2 0 0 0 ) V^{H} A^{H} A V=\left(\begin{array}{cc}\Sigma^{2} & 0 \\ 0 & 0\end{array}\right) VHAHAV=(Σ2000).
(3) 分块 V = ( V 1 , V 2 ) , V 1 ∈ C n × r V=\left(V_{1}, V_{2}\right), V_{1} \in \mathbf{C}^{n \times r} V=(V1,V2),V1∈Cn×r, 计算 U 1 = A V 1 Σ − 1 U_{1}=A V_{1} \Sigma^{-1} U1=AV1Σ−1, 取 U 2 U_{2} U2, 使 ( U 1 , U 2 ) = U \left(U_{1}, U_{2}\right)=U (U1,U2)=U 为酉矩阵, 则 A = U ( Σ 0 0 0 ) V H A=U\left(\begin{array}{cc}\Sigma & 0 \\ 0 & 0\end{array}\right) V^{H} A=U(Σ000)VH
置换矩阵
定义
定义 5.1
n × n n \times n n×n 单位矩阵 I I I 的各行按任何次序排列, 得到置换矩阵 P P P.
等价于, n × n n \times n n×n 矩阵 P P P 中元素有 n n n 个 1 , 位于不同行, 不同列, 其它矩阵元素全是零.
等价于,
n
×
n
n \times n
n×n 单位矩阵
I
I
I 的各列按任何次序排列.
令向量
e
i
=
[
0
,
…
,
1
第
i
个元索
,
…
,
0
]
T
,
e
i
T
⋅
e
j
=
δ
i
j
=
{
1
,
i
=
j
,
0
,
i
≠
j
.
\boldsymbol{e}_{i}=[0, \ldots, \underset{\text { 第 } i \text { 个元索 }}{1}, \ldots, 0]^{T}, \boldsymbol{e}_{i}^{T} \cdot \boldsymbol{e}_{j}=\delta_{i j}= \begin{cases}1, & i=j, \\ 0, & i \neq j .\end{cases}
ei=[0,…, 第 i 个元索 1,…,0]T,eiT⋅ej=δij={1,0,i=j,i=j.
I
=
[
e
1
,
…
,
e
n
]
,
P
=
[
e
i
1
,
…
,
e
i
n
]
,
i
1
,
…
,
i
n
∈
{
1
,
2
,
…
,
n
}
I=\left[e_{1}, \ldots, e_{n}\right], P=\left[e_{i_{1}}, \ldots, e_{i_{n}}\right], i_{1}, \ldots, i_{n} \in\{1,2, \ldots, n\}
I=[e1,…,en],P=[ei1,…,ein],i1,…,in∈{1,2,…,n} 且互不相同.
性质
n × n n \times n n×n 置换矩阵 P P P 的性质
(1) 一共有 n ! = n ( n − 1 ) ⋯ ( 3 ) ( 2 ) n !=n(n-1) \cdots(3)(2) n!=n(n−1)⋯(3)(2) (1) 个 n × n n \times n n×n 置换矩阵.
(2) P 1 , P 2 P_{1}, P_{2} P1,P2 是置换矩阵, 那么 P 1 P 2 P_{1} P_{2} P1P2 是置换矩阵.
P 1 P 2 P_{1} P_{2} P1P2 相当于对 P 2 P_{2} P2 的各行按照 P 1 P_{1} P1 来排列, 所以还是置换矩阵.
(3)
P
T
P^{T}
PT 是置换矩阵,
P
T
P^{T}
PT 中元素有
n
n
n 个 1 , 位于不同行, 不同列, 其它矩阵元素全是零.
直接验算
P
P
T
=
P
T
P
=
I
P P^{T}=P^{T} P=I
PPT=PTP=I, 所以
P
−
1
=
P
T
P^{-1}=P^{T}
P−1=PT.
P
=
[
e
i
1
,
…
,
e
i
n
]
,
P
T
=
[
e
i
1
T
⋮
e
i
n
T
]
P
T
P
=
[
e
i
1
T
⋮
e
i
n
T
]
[
e
i
1
,
…
,
e
i
n
]
=
[
e
i
1
T
⋅
e
i
1
⋯
e
i
1
T
⋅
e
i
n
⋮
⋱
⋮
e
i
n
T
⋅
e
i
1
⋯
e
i
n
T
⋅
e
i
n
]
=
I
.
P
P
T
=
(
P
T
)
T
P
T
=
I
.
\begin{gathered} P=\left[e_{i_{1}}, \ldots, e_{i_{n}}\right], P^{T}=\left[\begin{array}{c} e_{i_{1}}^{T} \\ \vdots \\ e_{i_{n}}^{T} \end{array}\right] \\ P^{T} P=\left[\begin{array}{c} e_{i_{1}}^{T} \\ \vdots \\ e_{i_{n}}^{T} \end{array}\right]\left[e_{i_{1}}, \ldots, e_{i_{n}}\right]=\left[\begin{array}{ccc} e_{i_{1}}^{T} \cdot e_{i_{1}} & \cdots & e_{i_{1}}^{T} \cdot e_{i_{n}} \\ \vdots & \ddots & \vdots \\ e_{i_{n}}^{T} \cdot e_{i_{1}} & \cdots & e_{i_{n}}^{T} \cdot e_{i_{n}} \end{array}\right]=I . \\ P P^{T}=\left(P^{T}\right)^{T} P^{T}=I . \end{gathered}
P=[ei1,…,ein],PT=⎣⎢⎡ei1T⋮einT⎦⎥⎤PTP=⎣⎢⎡ei1T⋮einT⎦⎥⎤[ei1,…,ein]=⎣⎢⎡ei1T⋅ei1⋮einT⋅ei1⋯⋱⋯ei1T⋅ein⋮einT⋅ein⎦⎥⎤=I.PPT=(PT)TPT=I.
带⾏置换矩阵 P P P 的 L U LU LU 分解
矩阵的 L U LU LU 分解:
L U LU LU 分解定理:如果 n n n 阶方阵A的各阶顺序主子式 Δ k ≠ 0 ( K = 1 、 2 、 3 , ⋯ , n ) \Delta_{k} \neq 0(K=1 、 2 、 3, \cdots, n) Δk=0(K=1、2、3,⋯,n), 即A的各阶顺序主子式矩阵 A k A_{k} Ak 都可逆, 则存在唯一的单位下三角矩阵 L L L 与唯一的非奇异上三角矩阵 U U U, 使得 A = L U . A=L U. A=LU.
上面这个 L U LU LU 分解定理就是判断一个矩阵是否能 L U LU LU 分解的判断条件.
对部分矩阵 A A A 存在 L U L U LU 分解, 即 A = L U A=L U A=LU
那么问题⼜了,如果⼀个可逆矩阵 A A A 不满⾜所有顺序主⼦式都不等于零,那么它就⼀定不能 L U LU LU 分解了吗?
⼀个矩阵 A A A 如下
A = ( 1 − 1 2 − 2 2 1 − 3 1 3 ) \boldsymbol{A}=\left(\begin{array}{ccc}1 & -1 & 2 \\ -2 & 2 & 1 \\ -3 & 1 & 3\end{array}\right) A=⎝⎛1−2−3−121213⎠⎞
显⽽易见,这个矩阵 A A A 的⼆阶顺序主⼦式为 0,所以 A A A 不能进⾏ L U LU LU 分解,那么遇见这种情况我们可以交换矩阵 A A A 的第⼆⾏和第三⾏,然后再验算⼀下,发现此时 A A A 的所有顺序主⼦式都不为零,于是可以进⾏ L U LU LU分解!这就是带⾏置换矩阵 P P P 的 L U LU LU 分解.
带 P P P 的 L U LU LU 分解坦白说就是将可逆⽅阵 A A A 重新排列,使其满⾜ L U LU LU 分解的条件,进⾏ L U LU LU 分解。
定理 5.1
对于 n × n n \times n n×n 可逆矩阵 A A A, 存在置换矩阵 P P P, 使得 P A = L U P A=L U PA=LU.
参考文献
[1] 李继根, 张新发编. 矩阵分析与计算. 武汉大学出版社 ,2013.
[2] 金升平. 矩阵论(MOOC). 武汉理工大学 理学院统计学系.
本人水平有限,若有不妥之处, 恳请批评指正.
作者: 图灵的猫
作者邮箱: turingscat@126.com