第二章矩阵变换和计算
文章目录
2.1 矩阵的三角分解及其应用
2.1.1Gauss消去法与矩阵的LU分解
定义 2.1 对于n阶方阵A,如果存在n阶单位下三角形矩阵L和n阶上三角形矩阵U,使得A=LU,则称其为矩阵A的LU分解,也称Doolittle分解。
定理2.1 (矩阵LU分解的存在和唯一性)如果n阶矩阵A的各阶顺序主子式Dk(k=1,2,…,n-1)均不为零,则必有单位下三角形矩阵L和上三角形矩阵U,使得A=LU,而且L和U是唯一的。
Gauss消去的过程求解Ax=b所需的总的乘法计算量为n3/3+n2-n/3,当n较大时,它和n3/3同阶。
2.1.2 Gauss列主元消去法与带列主元的LU分解
定理2.2 对任意n阶矩阵A,均存在置换矩阵P、单位下三角形矩阵L和上三角形矩阵U,使得PA=LU。
2.1.3 对称矩阵的Cholesky分解
定理2.3 (Cholesky分解)对任意n阶对称正定矩阵A,均存在下三角形矩阵L使A=LLT成立(L为对角元为正数下三角形矩阵),称其为对称正定矩阵A的Cholesky分解。进一步,如果规定L的对角元为正数,则L是唯一确定的。
2.1.4 三对角矩阵的三角分解
定理2.4 设具有以下形式的三对角矩阵A,满足条件
(1)|b1|>|c1|>0
(2)|bn|>|an|>0
(3)|bi|>=|ai|+|ci|,aici不等于0,i=2,3,…,n-1,
则方程组Ax=f可用追赶法求解,且唯一。
2.1.5 条件数和方程组的性态
定义2.2 如果线性方程组Ax=b中,A或b的元素的微小变化,会引起方程组解的巨大变化,则称方程组为“病态”方程组,称矩阵A为“病态”矩阵,否则称方程组为“良态”方程组,称矩阵A为“良态”矩阵。
定义2.3 设A为非奇异矩阵,||·||为矩阵的算子范数,则称cond(A)=||A|| ||A-1||为矩阵A的条件数。常用的条件数为
cond∞(A)=||A||∞ ||A-1||∞
cond1(A)=||A||1 ||A-1||1
cond2(A)=||A||2 ||A-1||2=√(λmax(AHA)/λmin(AHA))
矩阵的条件数具有如下性质:
(1)cond(A)>=1
(2)cond(A)=cond(A-1)
(3)cond(xA)=cond(A),x不等于0,x属于R
(4)如果U为正交矩阵,则
cond2(U)=1
cond2(UA)=cond2(UA)=cond2(A)
cond(A)越大,解的相对误差可能越大,A对求解线性方程组来说越可能呈现病态。
定理2.5 设Ax=b,A为非奇异矩阵,b为非零向量且A和b均有扰动,若A的扰动δA非常小,使得||A-1|| ||δA||<1,则
∣
∣
δ
x
∣
∣
∣
∣
x
∣
∣
<
=
c
o
n
d
(
A
)
∗
c
o
n
d
(
A
)
1
−
c
o
n
d
(
A
)
∣
∣
δ
A
∣
∣
∣
∣
A
∣
∣
(
∣
∣
δ
b
∣
∣
∣
∣
b
∣
∣
+
∣
∣
δ
A
∣
∣
∣
∣
A
∣
∣
)
\frac{||δx||}{||x||} <= cond(A)* \frac{cond(A)}{1-cond(A)\frac{||δA||}{||A||} }(\frac{||δb||}{ ||b||} +\frac{||δA||}{||A||} )
∣∣x∣∣∣∣δx∣∣<=cond(A)∗1−cond(A)∣∣A∣∣∣∣δA∣∣cond(A)(∣∣b∣∣∣∣δb∣∣+∣∣A∣∣∣∣δA∣∣)
2.1.6 矩阵的QR分解
Schmidt正交化方法,证明了若实方阵且rank(A)=n,则存在正交阵Q使Qx=||x||2e1
如果A为m×n阵(m>=n),rank(A)= n
使用同样的方法可以证明
A
=
Q
(
R
1
0
)
=
Q
R
\begin{gathered} A=Q \begin{pmatrix} R_1 \\ 0 \end{pmatrix} =QR \end{gathered}
A=Q(R10)=QR
其中R1为对角元大于零的上三角形矩阵,矩阵的分解式称为矩阵A的QR分解。
cond2(A)=cond2(R)
定义2.4 设w属Rn,w不等于0,称这种特殊的初等矩阵的初等矩阵
H
(
w
)
=
I
−
2
w
T
w
w
w
T
H(w)= I-\frac{2}{w^Tw} \,ww^T
H(w)=I−wTw2wwT
为Householder矩阵(简称H阵),或称Householder变换矩阵。
H阵性质:
(1)H(w)T=H(w),即H阵为对称阵
(2)H(w)TH(w)= I,即H阵为正交阵
(3)如果H(w)x=y,则||x||2 =||y||2,反之对于任意两个向量x,y属于Rn,若||x||2 =||y||2,且x不等于y,则必存在Householder矩阵H,使得y=Hx
(4)设x=(x1,x2,…,xn)T属于Rn,且x不等于0,取w=x ± ||x||2e1
H
(
w
)
=
H
(
x
±
∣
∣
x
∣
∣
2
e
1
)
x
=
±
∣
∣
x
∣
∣
2
e
1
=
±
∣
∣
x
∣
∣
2
(
1
,
0
,
.
.
.
,
0
)
T
H(w)=H(x ± ||x||_2e_1)x = ± ||x||_2e_1~= ± ||x||_2(1,0,...,0)^T
H(w)=H(x±∣∣x∣∣2e1)x=±∣∣x∣∣2e1 =±∣∣x∣∣2(1,0,...,0)T
推论2.1 设x=(x1,x2,…,xn)T属于Cn且x≠0,则存在Householder矩阵
H
(
w
)
=
I
−
2
w
T
w
w
w
T
H(w)= I-\frac{2}{w^Tw} \,ww^T
H(w)=I−wTw2wwT
使得H(w)x=αe1,其中|α|=||x||2,且αxHe1为实数。
2.2 特殊矩阵的特征系统
定理2.8(Schur 定理)设A属于Cn×n,则存在酉阵U属于Cn×n使得
A
=
U
R
U
H
A=URU^H
A=URUH
其中R属于Cn为上三角形矩阵。
该定理还可以表示为:任意n阶方阵酉相似于一个以其特征值为对角元的上三角形矩阵R,通常称R为A的Schur标准型。
定义2.5 设A属于Cn×n,若
A
H
A
=
A
A
H
A^HA=AA^H
AHA=AAH
则A为正规矩阵。
常见的正规矩阵:
- Hermite阵(AH=A)
- 实对称矩阵(AT=A)
- 斜Hermite阵(AH=-A)
- 实反对称矩阵(AT=-A)
- 酉阵(AHA=AAH=I)
- 正交矩阵(ATA=AAT=I)
推论2.2 设A为n阶方阵,则A为正规矩阵的充分必要条件是存在n阶酉阵U,使得
A
=
U
D
U
H
A=UDU^H
A=UDUH其中D为n阶对角矩阵。
推论2.3 设A属于Cn×n,则
(1)A为H阵的充分必要条件为,存在酉阵U属于Cn×n,使得
A
=
U
D
U
H
A=UDU^H
A=UDUH其中D为n阶实对角矩阵。
(2)A为斜H阵的充分必要条件为,存在酉阵U属于Cn×n,使得
A
=
U
D
U
H
A=UDU^H
A=UDUH其中D属于Cn×n为实对角阵,其对角元素为零或纯虚数。
推论2.4 设A属于Cn×n,则A为酉阵的充分必要条件为存在酉阵U属于Cn×n使得 A = U D U H A=UDU^H A=UDUH,其中D为n阶对角阵,其对角元的模均为1。
定理2.9 设A为n阶方阵,任取ε>0,则在Cn×n中存在一种算子范数||·||M(依赖矩阵A和常数ε),满足||Ⅰ||M=1,并且
∣
∣
A
∣
∣
M
≤
(
A
)
+
ε
||A||_M≤(A)+ε
∣∣A∣∣M≤(A)+ε
推论2.5 若ρ(A)<1,则存在范数 ||·|| ,使得||A||<1.
2.3 矩阵的Jordan分解
定义2.6 设A为n阶方阵,A的特征多项式为
d
e
t
(
λ
I
−
A
)
=
(
λ
−
λ
1
)
m
1
(
λ
−
λ
2
)
m
2
…
(
λ
−
λ
s
)
m
s
det(λI-A)=(λ-λ_1)^{m_1}(λ-λ_2)^{m_2}…(λ-λ_s)^{m_s}
det(λI−A)=(λ−λ1)m1(λ−λ2)m2…(λ−λs)ms
- mi(i=1,2,…s)均为正整数,,m1+……+ms=n
- λi为A的不同特征值,称mi为特征值λi的代数重复度
特征值λi的线性无关特征向量的个数即子空间N(λiI-A)【即((λiI—A)x=0)的一切解形成的空间,称为λiIn—A的零空间】的维数为特征值的几何重复度,记为αi
α
i
=
n
−
r
a
n
k
(
λ
i
I
—
A
)
α_i=n-rank(λ_iI—A)
αi=n−rank(λiI—A)
定理2.10 设A为n阶方阵,λi为其特征值,mi和αi分别为其代数重复度和几何重复度,则mi≥αi
定义2.7 设A为n阶方阵, ,如果mi=αi则称特征值λi为半单的;如果mi>αi,则称特征值λi为亏损的。
如果矩阵A的某一个特征值代数重复度为1,则它一定是半单的。
定理2.11 n阶方阵A可对角化的充分必要条件是每一个特征值λi均为半单,即mi=αi,i=1,2…s
A是不可对角化的充分必要条件时它有亏损的特征值,即存在i,使得mi>αi。
因此,也称一个不可对角化的矩阵为亏损矩阵。
不可对角化的矩阵的相似标准型(Jordan分解形式)
定义2.8 称下面的k×k阶方阵
J
k
(
λ
)
=
(
λ
1
0
0
0
0
λ
1
0
0
0
0
…
1
0
0
0
0
λ
1
)
J_k(λ)=\begin{pmatrix} λ \ 1 \ 0 \ 0 \ 0 \\ 0 \ λ \ 1 \ 0 \ 0 \\ 0 \ 0 \ …\ 1\ 0 \\ 0 \ 0 \ 0 \ λ \ 1 \ \end{pmatrix}
Jk(λ)=⎝⎜⎜⎛λ 1 0 0 00 λ 1 0 00 0 … 1 00 0 0 λ 1 ⎠⎟⎟⎞为Jordan块。
定义2.9 由若干个Jordan块排成的块对角矩阵称为Jordan阵。
定理2.12 设A为n阶方阵,则存在n阶可逆矩阵T使得
A
=
T
J
T
−
1
A=TJT^{-1}
A=TJT−1J=diag(Jn1(λi),…,Jnk(λk)),n1+…+nk=n
该分解为A的Jordan分解,J为Jordan标准型,T为变换矩阵。
J的对角元素为A的特征值。
Jordan标准型是一个块对角矩阵,其对角元便为矩阵J的特征值。
特征值的代数重复度就是J中该特征值的Jordan块阶数的和,几何重复度为该特征值的Jordan块个数。
定理2.13 设A为n阶方阵,λi为其特征值,则A的Jordan标准型J中以λi为特征值、阶数为l的Jordan块的个数为
r
l
+
1
+
r
l
−
1
−
2
r
l
r_{l+1}+ r_{l-1}-2r_l
rl+1+rl−1−2rl
其中2rl=rank{λiI—A}
定理2.14 (Hamilton-Caylay)设A∈Cn×n,φ(λ)=det(λI-A),则φ(A)=0。
2.4矩阵的奇异值分解
2.4.1 矩阵的奇异值分解
定义2.10 设A∈Cm×n,k=min(m,n),Hermite半正定矩阵AHA的特征值为λ1≥λ2≥…≥λk≥0,称非负实数
σ
i
(
A
)
=
√
λ
i
,
i
=
1
,
2
,
…
,
σ_i(A)=√λ~i~,i=1,2,…,
σi(A)=√λ i ,i=1,2,…,
k为矩阵的奇异值。
矩阵的奇异值满足以下性质:
定理2.15 设A、B属于Cm×n,如果存在m阶、n阶酉阵U、V,使得A=UBVH,则矩阵A、B的奇异值相同。
定理2.16 设A∈Cm×n,且秩rank(A)=r,则存在m阶、n阶酉阵U、V使得
(
∑
0
0
0
)
\begin{pmatrix} ∑ \ 0 \\ 0 \ \ 0 \end{pmatrix}
(∑ 00 0)
其中∑=diag(σ1σ2,…,σr),σi(i=1,2,…r)为矩阵A的非零奇异值。
推论2.6 设A∈Cm×n,且秩rank(A)=r,则存在m阶、n阶酉阵U、V使得
A
=
U
(
σ
1
0
0
0
0
σ
2
0
0
0
0
.
.
.
0
0
0
0
σ
n
)
V
H
A=U\begin{pmatrix} σ_1 \ 0 \ 0 \ 0 \\ 0 \ σ_2 \ 0 \ 0 \\ 0 \ 0 \ ... \ 0 \\ 0 \ 0 \ 0 \ σ_n \end{pmatrix} V^H
A=U⎝⎜⎜⎛σ1 0 0 00 σ2 0 00 0 ... 00 0 0 σn⎠⎟⎟⎞VH
其中σi>0为矩阵A的奇异值。
2.4.2 用矩阵的奇异值分解讨论矩阵的性质
定理2.17 矩阵A的非零奇异值的个数恰为矩阵A的秩。
定理2.18 R(A)=span{u1,u2,…,ur},N(A)=span{vr+1,vr+2,…,vn}其中R(A)为A的列向量生成的子空间,称为A的值域或像空间,即
R
(
A
)
=
s
p
a
n
{
a
1
,
a
2
,
…
,
a
n
}
R(A)=span\{a_1,a_2,…,a_n\}
R(A)=span{a1,a2,…,an}
A的零空间或核,即N(A)={x|Ax=0}
定理2.19
定理2.20 如果A为Hermite矩阵,则A的奇异值即为A的特征值的绝对值。
定理2.21 如果A为n阶方阵,则|det(A)|= σ1×σ2×……×σn
定理2.22 秩为r的m×n矩阵A可以表示为r个秩为1的矩阵的和:
A=σ1u1v1H+σ2u2v2H+……+σnunvnH