广义逆矩阵
广义逆矩阵的概念
设 A ∈ C m × n A \in C^{m \times n} A∈Cm×n,如果 X ∈ C n × m X \in C^{n \times m} X∈Cn×m满足下列四个 Penrose \text{Penrose} Penrose方程
- A X A = A AXA=A AXA=A
- X A X = X XAX=X XAX=X
- ( A X ) H = A X (AX)^H = AX (AX)H=AX
- ( X A ) H = X A (XA)^H = XA (XA)H=XA
的几个或全部,则称 X X X为 A A A的广义逆矩阵。满足全部的称为 A A A的 Moore-Penrose \text{Moore-Penrose} Moore-Penrose的逆,记为 A + A^+ A+,其存在且唯一。其它比较常见的有 A { 1 } , A { 1 , 2 } , A { 1 , 3 } , A { 1 , 4 } A\{1\},A\{1,2\},A\{1,3\},A\{1,4\} A{1},A{1,2},A{1,3},A{1,4}逆。
{1}逆及其应用
设
A
∈
C
r
m
×
n
A \in C_r^{m \times n}
A∈Crm×n,且有
S
∈
C
m
m
×
m
S \in C_m^{m \times m}
S∈Cmm×m和
n
n
n阶置换矩阵
P
P
P,使得
S
A
P
=
[
I
r
K
O
O
]
SAP = \begin{bmatrix} I_r &K \\ O &O\end{bmatrix}\\
SAP=[IrOKO]
则对任意
L
∈
C
(
n
−
r
)
×
(
m
−
r
)
,
n
×
m
L \in C^{(n-r)\times (m-r)},n \times m
L∈C(n−r)×(m−r),n×m矩阵
X
=
P
[
I
r
O
O
L
]
S
X = P \begin{bmatrix} I_r &O \\ O &L \end{bmatrix}S
X=P[IrOOL]S
是
A
A
A的
{
1
}
\{1\}
{1}逆;当
L
=
O
L=O
L=O时,
X
X
X是
A
A
A的
{
1
,
2
}
\{1,2\}
{1,2}逆
A A A有唯一 { 1 } \{1\} {1}逆的充分必要条件是 m = n m=n m=n,且 r a n k A = m = n rank A = m =n rankA=m=n,这个唯一逆就是 A − 1 A^{-1} A−1
- ( A ( 1 ) ) H ∈ A H { 1 } , ( A ( 1 ) ) T ∈ A T { 1 } (A^{(1)})^H \in A^H \{1\},(A^{(1)})^T \in A^T \{1\} (A(1))H∈AH{1},(A(1))T∈AT{1}
- λ + A ( 1 ) ∈ ( λ A ) { 1 } \lambda^+ A^{(1)} \in (\lambda A)\{1\} λ+A(1)∈(λA){1}
- T − 1 A ( 1 ) S − 1 ∈ ( S A T ) { 1 } T^{-1}A^{(1)}S^{-1} \in (SAT)\{1\} T−1A(1)S−1∈(SAT){1}
- r a n k A ( 1 ) ≥ r a n k A rank A^{(1)} \geq rank A rankA(1)≥rankA
- r a n k ( A A ( 1 ) ) = r a n k ( A ( 1 ) A ) = r a n k A rank (AA^{(1)}) = rank(A^{(1)}A) = rank A rank(AA(1))=rank(A(1)A)=rankA
- A A ( 1 ) = I m ⟺ r a n k A = m AA^{(1)} = I_m \iff rank A =m AA(1)=Im⟺rankA=m
- A ( 1 ) A = I n ⟺ r a n k A = n A^{(1)}A = I_n \iff rank A = n A(1)A=In⟺rankA=n
- ( A ( 1 ) A ) 2 = A ( 1 ) A , ( A A ( 1 ) ) 2 = A A ( 1 ) (A^{(1)}A)^2 = A^{(1)}A,(AA^{(1)})^2=AA^{(1)} (A(1)A)2=A(1)A,(AA(1))2=AA(1)
应用
设
A
∈
C
m
×
n
,
B
∈
C
p
×
q
,
D
∈
C
m
×
q
A\in C^{m \times n},B \in C^{p \times q},D \in C^{m \times q}
A∈Cm×n,B∈Cp×q,D∈Cm×q,则矩阵方程
A
X
B
=
D
AXB = D
AXB=D有解的充要条件是
A
A
(
1
)
D
B
(
1
)
B
=
D
AA^{(1)}D B^{(1)}B = D
AA(1)DB(1)B=D
其通解为
X
=
A
(
1
)
D
B
(
1
)
+
Y
−
A
(
1
)
A
Y
B
B
(
1
)
(
∀
Y
∈
C
n
×
p
)
X = A^{(1)}DB^{(1)} + Y - A^{(1)}AYBB^{(1)} (\forall Y \in C^{n \times p })
X=A(1)DB(1)+Y−A(1)AYBB(1)(∀Y∈Cn×p)
线性方程组
A
x
=
b
Ax = b
Ax=b有解的充要条件是
A
A
(
1
)
b
=
b
AA^{(1)} b = b
AA(1)b=b
有解时,其通解为
x
=
A
(
1
)
b
+
(
I
−
A
(
1
)
A
)
y
(
∀
y
∈
C
n
)
x = A^{(1)}b+ (I-A^{(1)}A)y (\forall y \in C^n)
x=A(1)b+(I−A(1)A)y(∀y∈Cn)
构造其它广义逆
A ( 1 , 2 ) = A ( 1 ) A A ( 1 ) A ( 1 , 2 , 3 ) = ( A H A ) ( 1 ) A H A 1 , 2 , 4 = A H ( A H ) ( 1 ) A + = A ( 1 , 4 ) A A ( 1 , 3 ) \begin{aligned} &A^{(1,2)} = A^{(1)} A A^{(1)} \\ &A^{(1,2,3)} = (A^HA)^{(1)}A^H \\ &A^{1,2,4} = A^H(A^H)^{(1)} \\ &A^{+} = A^{(1,4)} AA^{(1,3)} \end{aligned} A(1,2)=A(1)AA(1)A(1,2,3)=(AHA)(1)AHA1,2,4=AH(AH)(1)A+=A(1,4)AA(1,3)
Moore-Penrose逆
A
∈
C
r
m
×
n
A \in C_r^{m \times n}
A∈Crm×n,
A
A
A的满秩分解为
A
=
F
G
(
F
∈
C
r
m
×
r
,
G
∈
C
r
r
×
n
)
A=FG(F \in C^{m \times r}_r,G \in C_r^{r \times n})
A=FG(F∈Crm×r,G∈Crr×n)
则有
A
+
=
G
+
F
+
=
G
H
(
G
G
H
)
−
1
(
F
H
F
)
−
1
F
H
A^+ =G^+F^+=G^H(GG^H)^{-1} (F^HF)^{-1}F^H
A+=G+F+=GH(GGH)−1(FHF)−1FH
- ( A + ) + = A (A^+)^+=A (A+)+=A
- ( A + ) H = ( A H ) + , ( A + ) T = ( A T ) + (A^+)^H = (A^H)^+,(A^+)^T = (A^T)^+ (A+)H=(AH)+,(A+)T=(AT)+
- ( λ A ) + = λ + A + (\lambda A)^+ = \lambda^+ A^+ (λA)+=λ+A+
- r a n k A + = r a n k A rank A^+=rank A rankA+=rankA
- r a n k ( A A + ) = r a n k ( A + A ) = r a n k A rank(AA^+)=rank (A^+A )= rank A rank(AA+)=rank(A+A)=rankA
- A + = ( A H A ) + A H = A H ( A A H ) + A^+=(A^HA)^+A^H=A^H(AA^H)^+ A+=(AHA)+AH=AH(AAH)+
- ( A H A ) + = A + ( A H ) + , ( A A H ) + = ( A H ) + A + (A^HA)^+=A^+(A^H)^+,(AA^H)^+=(A^H)^+A^+ (AHA)+=A+(AH)+,(AAH)+=(AH)+A+
- ( U A V ) + = V H A + U H , U , V 都是酉矩阵 (UAV)^+=V^HA^+U^H,U,V都是酉矩阵 (UAV)+=VHA+UH,U,V都是酉矩阵
- A A + = I m ⟺ r a n k A = m AA^+=I_m \iff rankA = m AA+=Im⟺rankA=m
- A + A = I n ⟺ r a n k A = n A^+A=I_n \iff rankA=n A+A=In⟺rankA=n
- ( A A + ) 2 = A A + , ( A + A ) 2 = A + A (AA^+)^2=AA^+,(A^+A)^2=A^+A (AA+)2=AA+,(A+A)2=A+A
应用
-
A x = b 有解 ⟺ A A + b = b Ax=b 有解 \iff AA^+b= b Ax=b有解⟺AA+b=b
-
x = A + b + ( I − A + A ) y x = A^+b+(I-A^+A)y x=A+b+(I−A+A)y
- 相容方程组 A x = b Ax=b Ax=b的通解
- 矛盾方程组 A x = b Ax=b Ax=b的全部最小二乘解
-
x 0 = A + b x_0=A^+b x0=A+b
- 相容方程组 A x = b Ax=b Ax=b的极小范数解
- 矛盾方程组 A x = b Ax=b Ax=b的极小范数最小二乘解
矩阵的特殊乘积
直积的定义和性质
设
A
=
(
a
i
j
)
m
×
n
,
B
=
(
b
i
j
)
p
×
q
A=(a_{ij})_{m \times n},B=(b_{ij})_{p \times q}
A=(aij)m×n,B=(bij)p×q,矩阵的直积为
A
⊗
B
=
[
a
11
B
a
12
B
⋯
a
1
n
B
a
21
B
a
22
B
⋯
a
2
n
B
⋮
⋮
⋮
a
m
1
B
a
m
2
B
⋯
a
m
n
B
]
(Hronecker product)
A \otimes B = \begin{bmatrix} a_{11}B & a_{12}B &\cdots &a_{1n}B \\ a_{21}B & a_{22}B &\cdots &a_{2n}B \\ \vdots &\vdots & &\vdots \\ a_{m1}B & a_{m2}B &\cdots &a_{mn}B \\ \end{bmatrix} \tag{Hronecker product}
A⊗B=
a11Ba21B⋮am1Ba12Ba22B⋮am2B⋯⋯⋯a1nBa2nB⋮amnB
(Hronecker product)
- A ⊗ B ≠ B ⊗ A A \otimes B \neq B \otimes A A⊗B=B⊗A
- k ( A ⊗ B ) = ( k A ) ⊗ B = A ⊗ ( k B ) k(A \otimes B) = (kA)\otimes B = A \otimes (kB) k(A⊗B)=(kA)⊗B=A⊗(kB)
- ( A + B ) ⊗ C = A ⊗ C + B ⊗ C (A+B)\otimes C = A \otimes C + B\otimes C (A+B)⊗C=A⊗C+B⊗C
- C ⊗ ( A + B ) = C ⊗ A + C ⊗ B C \otimes (A+B) = C \otimes A + C \otimes B C⊗(A+B)=C⊗A+C⊗B
- ( A ⊗ B ) ⊗ C = A ⊗ ( B ⊗ C ) (A \otimes B) \otimes C = A \otimes (B \otimes C) (A⊗B)⊗C=A⊗(B⊗C)
- ( A ⊗ B ) T = A T ⊗ B T , ( A ⊗ B ) H = A H ⊗ B H (A \otimes B)^T = A^T \otimes B^T,(A \otimes B)^H = A^H \otimes B^H (A⊗B)T=AT⊗BT,(A⊗B)H=AH⊗BH
- ( A ⊗ B ) ( C ⊗ D ) = ( A C ) ⊗ ( B D ) (A \otimes B)(C \otimes D) = (AC) \otimes (BD) (A⊗B)(C⊗D)=(AC)⊗(BD)
- ( A ⊗ B ) − 1 = A − 1 ⊗ B − 1 (A \otimes B)^{-1} = A^{-1} \otimes B^{-1} (A⊗B)−1=A−1⊗B−1
- ( A ⊗ B ) + = A + ⊗ B + (A \otimes B)^{+} = A^{+} \otimes B^{+} (A⊗B)+=A+⊗B+
- det ( A ⊗ B ) = ( det A ) n ( det B ) m \det(A \otimes B) = (\det A)^n (\det B)^m det(A⊗B)=(detA)n(detB)m
m m m阶方阵 A A A的特征值是 λ 1 , λ 2 , ⋯ , λ m \lambda_1,\lambda_2,\cdots,\lambda_m λ1,λ2,⋯,λm,对应的特征向量是 x 1 , x 2 , ⋯ , x m x_1,x_2,\cdots,x_m x1,x2,⋯,xm; n n n阶方阵 B B B的特征值是 μ 1 , μ 2 , ⋯ , μ n \mu_1,\mu_2,\cdots,\mu_n μ1,μ2,⋯,μn,对应的特征向量是 y 1 , y 2 , ⋯ , y n y_1,y_2,\cdots,y_n y1,y2,⋯,yn
- A ⊗ B A\otimes B A⊗B的特征值是 λ i μ j \lambda_i \mu_j λiμj,对应的特征向量是 x i ⊗ y j x_i \otimes y_j xi⊗yj
- A ⊗ I n + I m ⊗ B A \otimes I_n + I_m \otimes B A⊗In+Im⊗B的特征值是 λ i + μ j \lambda_i + \mu_j λi+μj,对应的特征向量是 x i ⊗ y j x_i \otimes y_j xi⊗yj
直积的应用
矩阵的拉直及其与直积的关系
设
A
=
(
a
i
j
)
m
×
n
A=(a_{ij})_{m \times n}
A=(aij)m×n,称
m
n
mn
mn维列向量
A
⃗
=
(
a
11
,
⋯
,
a
1
n
,
a
21
,
⋯
,
a
2
n
,
⋯
,
a
m
1
,
⋯
,
a
m
n
)
T
\vec{A} = (a_{11},\cdots,a_{1n},a_{21},\cdots,a_{2n},\cdots,a_{m1},\cdots,a_{mn})^T
A=(a11,⋯,a1n,a21,⋯,a2n,⋯,am1,⋯,amn)T
为矩阵 A A A的(按行)拉直。
- k A + l B → = k A ⃗ + l B ⃗ \overrightarrow{kA+lB} =k \vec A +l \vec B kA+lB=kA+lB
- d A ( t ) → d t = d A ( t ) → d t \cfrac{\overrightarrow{dA(t)}}{dt} =\cfrac{d\overrightarrow{A(t)}}{dt} dtdA(t)=dtdA(t)
-
A
X
B
→
=
(
A
⊗
B
T
)
X
⃗
\overrightarrow{AXB} = (A\otimes B^T) \vec X
AXB=(A⊗BT)X
- A X → = ( A ⊗ I p ) X ⃗ \overrightarrow{AX} = (A\otimes I_p) \vec X AX=(A⊗Ip)X
- X B → = ( I n ⊗ B T ) X ⃗ \overrightarrow{XB} = (I_n \otimes B^T) \vec X XB=(In⊗BT)X
求解矩阵方程
A X + X B = F ( A ⊗ I n + I m ⊗ B T ) X ⃗ = F ⃗ \begin{aligned} &AX+XB=F \\ &(A \otimes I_n + I_m \otimes B^T) \vec X = \vec F \end{aligned} AX+XB=F(A⊗In+Im⊗BT)X=F
线性空间与线性变换
数域与映射
-
设 K K K是一个至少含一个非零数的数集。如果 K K K中任意两个数的和、差、积、商(除数不为零)仍是 K K K中的数,则称 K K K为一个数域。
-
所有数域都包含有理数域作为它的一部分,即有理数域是最小的数域。
-
设 S , S ′ S,S^\prime S,S′是两个集合,如果按照某一规则 σ \sigma σ,使对于每一个 α ∈ S \alpha \in S α∈S都有一个确定的元素 β ∈ S ′ \beta \in S^\prime β∈S′与之对应,则称 σ \sigma σ为集合 S S S到 S ′ S^\prime S′的一个映射,记为 σ : S → S ′ \sigma:S \rightarrow S^\prime σ:S→S′; α \alpha α与 β \beta β的对应记为 σ ( α ) = β \sigma(\alpha) = \beta σ(α)=β,称 β \beta β为 α \alpha α在映射 σ \sigma σ下的像,而称 α \alpha α为 β \beta β在映射 σ \sigma σ下的一个原像。集合 S S S称为映射 σ \sigma σ的定义域。当 S S S中元素 α \alpha α改变时, α \alpha α在映射 σ \sigma σ下的像的全体构成 S ′ S^\prime S′的一个子集,称为映射 σ \sigma σ的值域 R ( σ ) R(\sigma) R(σ)。由集合 S S S到 S S S自身的映射称为 S S S上的一个变换。
-
设 σ 1 , σ 2 \sigma_1,\sigma_2 σ1,σ2是集合 S → S ′ S\rightarrow S^\prime S→S′的映射。如果 ∀ α ∈ S , σ 1 ( α ) = σ 2 ( α ) \forall \alpha \in S,\sigma_1(\alpha) = \sigma_2(\alpha) ∀α∈S,σ1(α)=σ2(α),则 σ 1 = σ 2 \sigma_1=\sigma_2 σ1=σ2
-
设 σ : S → S ′ , τ : S ′ → S ′ ′ \sigma:S\rightarrow S^\prime,\tau:S^\prime \rightarrow S^{\prime \prime} σ:S→S′,τ:S′→S′′,由
( τ σ ) ( α ) = τ ( σ ( α ) ) (\tau \sigma) (\alpha) = \tau(\sigma(\alpha)) (τσ)(α)=τ(σ(α))
定义的从集合 S → S ′ ′ S \rightarrow S^{\prime \prime} S→S′′的映射 τ σ \tau \sigma τσ称为 τ , σ \tau,\sigma τ,σ的乘积
线性空间的定义与基本性质
设 V V V是一个非空集合, K K K是一个数域,在 V V V的元素之间规定了“加法”运算,在 K , V K,V K,V之间规定了“数乘”运算。如果 V V V对于这两种运算封闭,即 ∀ α , β ∈ V ⟹ α + β ∈ V , ∀ k ∈ K , α ∈ V ⟹ k α ∈ V \forall \alpha,\beta \in V \Longrightarrow \alpha+\beta \in V,\forall k \in K,\alpha \in V \Longrightarrow k\alpha \in V ∀α,β∈V⟹α+β∈V,∀k∈K,α∈V⟹kα∈V,且这两种运算满足以下八条运算律,则称 V V V为数域 K K K上的线性空间
- 加法交换律 α + β = β + α \alpha+\beta = \beta+\alpha α+β=β+α
- 加法结合律 ( α + β ) + γ = α + ( β + γ ) (\alpha+\beta)+\gamma = \alpha+(\beta+\gamma) (α+β)+γ=α+(β+γ)
- 存在零元 θ \theta θ, α + θ = α \alpha+\theta=\alpha α+θ=α
- 存在负元, ∀ α ∈ V , ∃ β ∈ V , α + β = θ , β = − α \forall \alpha \in V,\exist \beta \in V,\alpha+\beta = \theta,\beta=-\alpha ∀α∈V,∃β∈V,α+β=θ,β=−α
- 1 α = α 1 \alpha = \alpha 1α=α
- 数乘结合律 k ( l α ) = ( k l ) α k(l\alpha) = (kl)\alpha k(lα)=(kl)α
- 分配律 ( k + l ) α = k α + l α (k+l)\alpha = k\alpha+l\alpha (k+l)α=kα+lα
- 数因子分配律 k ( α + β ) = k α + k β k(\alpha+\beta) = k\alpha+k\beta k(α+β)=kα+kβ
线性空间性质
- 零元是唯一的
- 任一元素 α \alpha α的负元是唯一的
- 0 α = θ , ( − 1 ) α = − α , k θ = θ 0\alpha=\theta,(-1)\alpha = -\alpha,k\theta = \theta 0α=θ,(−1)α=−α,kθ=θ
- k α = θ ⟹ α = θ or k = 0 k\alpha = \theta \Longrightarrow \alpha = \theta \text{ or } k=0 kα=θ⟹α=θ or k=0
元素关系
- 线性表出、线性组合、线性相关、线性无关
- 元素组线性表出、极大无关组
基、维数与坐标
基与维数
- 基:线性空间中 V V V的元素中的一个极大线性无关组
- 维数: dim V = n \dim V = n dimV=n
V n = { α = k 1 α 1 + k 2 α 2 + ⋯ + k n α n ∣ k 1 , k 2 , ⋯ , k n ∈ K } V^n = \{\alpha = k_1\alpha_1+k_2\alpha_2+\cdots+k_n\alpha_n \mid k_1,k_2,\cdots,k_n\ \in K\} Vn={α=k1α1+k2α2+⋯+knαn∣k1,k2,⋯,kn ∈K}
坐标
α = x 1 α 1 + x 2 α 2 + ⋯ + x n α n \alpha = x_1\alpha_1+x_2\alpha_2 +\cdots +x_n\alpha_n α=x1α1+x2α2+⋯+xnαn
( x 1 , x 2 , ⋯ , x n ) T (x_1,x_2,\cdots,x_n)^T (x1,x2,⋯,xn)T为在基 α 1 , α 2 , ⋯ , α n \alpha_1,\alpha_2,\cdots,\alpha_n α1,α2,⋯,αn下的坐标
坐标建立了 V n V^n Vn与 K n K^n Kn的对应关系,使得线性空间 V n V^n Vn中元素的性质可以在 K n K^n Kn中分析。
基变换与坐标变换公式
设
V
V
V是数域
K
K
K上的
n
n
n维线性空间,
α
1
,
α
2
,
⋯
,
α
n
\alpha_1,\alpha_2,\cdots,\alpha_n
α1,α2,⋯,αn和
β
1
,
β
2
,
⋯
,
β
n
\beta_1,\beta_2,\cdots,\beta_n
β1,β2,⋯,βn是
V
V
V的两个基
(
β
1
,
β
2
,
⋯
,
β
n
)
=
(
α
1
,
α
2
,
⋯
,
α
n
)
C
(基变换公式)
(\beta_1,\beta_2,\cdots,\beta_n) = (\alpha_1,\alpha_2,\cdots,\alpha_n) C \tag{基变换公式}
(β1,β2,⋯,βn)=(α1,α2,⋯,αn)C(基变换公式)
称矩阵
C
C
C为由基
α
1
,
α
2
,
⋯
,
α
n
\alpha_1,\alpha_2,\cdots,\alpha_n
α1,α2,⋯,αn到基
β
1
,
β
2
,
⋯
,
β
n
\beta_1,\beta_2,\cdots,\beta_n
β1,β2,⋯,βn的过渡矩阵
设 α ∈ V \alpha \in V α∈V在基 α 1 , α 2 , ⋯ , α n \alpha_1,\alpha_2,\cdots,\alpha_n α1,α2,⋯,αn下的坐标为 x = ( x 1 , x 2 , ⋯ , x n ) T x=(x_1,x_2,\cdots,x_n)^T x=(x1,x2,⋯,xn)T,在基 β 1 , β 2 , ⋯ , β n \beta_1,\beta_2,\cdots,\beta_n β1,β2,⋯,βn下的坐标为 y = ( y 1 , y 2 , ⋯ , y n ) T y=(y_1,y_2,\cdots,y_n)^T y=(y1,y2,⋯,yn)T,则
-
C C C是可逆的
-
坐标变换公式
x = C y or y = C − 1 x (坐标变换公式) x = Cy \text{ or } y = C^{-1}x \tag{坐标变换公式} x=Cy or y=C−1x(坐标变换公式)
线性子空间
子空间的概念
设 V V V是数域 K K K上的线性空间, W W W是 V V V的一个非空子集,如果 W W W满足 V V V中所定义的加法以及数乘运算也构成数域 K K K上的线性空间,则称 W W W为 V V V的线性子空间,简称子空间。仅有 V V V的零元构成的集合 { θ } \{\theta\} {θ}和 V V V本身都是 V V V的子空间,称这两个子空间为 V V V的平凡子空间或假子空间。 V V V的其它子空间称为非平凡子空间或真子空间。
- 线性空间 V V V的非空子集 W W W是子空间的充分必要条件是, W W W对于 V V V中规定的加法与数乘运算封闭
生成子空间
设
V
V
V是数域
K
K
K上的线性空间,在
V
V
V中任取
m
m
m个元素
α
1
,
α
2
,
⋯
,
α
m
\alpha_1,\alpha_2,\cdots,\alpha_m
α1,α2,⋯,αm,构造子集
W
=
{
k
1
α
1
+
k
2
α
2
+
⋯
+
k
m
α
m
∣
k
1
,
k
2
,
⋯
,
k
m
∈
K
}
W = \{k_1\alpha_1+k_2\alpha_2 + \cdots+k_m\alpha_m \mid k_1,k_2,\cdots,k_m \in K\}
W={k1α1+k2α2+⋯+kmαm∣k1,k2,⋯,km∈K}
则
W
W
W是
V
V
V的子空间,称为
α
1
,
α
2
,
⋯
,
α
m
\alpha_1,\alpha_2,\cdots,\alpha_m
α1,α2,⋯,αm生成的子空间,记为
s
p
a
n
{
α
1
,
α
2
,
⋯
,
α
m
}
span\{\alpha_1,\alpha_2,\cdots,\alpha_m\}
span{α1,α2,⋯,αm}
-
若 α 1 , α 2 , ⋯ , α s \alpha_1,\alpha_2,\cdots,\alpha_s α1,α2,⋯,αs可由 β 1 , β 2 , ⋯ , β t \beta_1,\beta_2,\cdots,\beta_t β1,β2,⋯,βt线性表出,则
s p a n { α 1 , α 2 , ⋯ , α s } ⊆ s p a n { β 1 , β 2 , ⋯ , β t } span\{\alpha_1,\alpha_2,\cdots,\alpha_s\} \subseteq span\{\beta_1,\beta_2,\cdots,\beta_t\} span{α1,α2,⋯,αs}⊆span{β1,β2,⋯,βt} -
s p a n { α 1 , α 2 , ⋯ , α m } span\{\alpha_1,\alpha_2,\cdots,\alpha_m\} span{α1,α2,⋯,αm}的维数等于元素组 α 1 , α 2 , ⋯ , α m \alpha_1,\alpha_2,\cdots,\alpha_m α1,α2,⋯,αm的秩, α 1 , α 2 , ⋯ , α m \alpha_1,\alpha_2,\cdots,\alpha_m α1,α2,⋯,αm的极大线性无关组是该生成子空间的基
矩阵相关子空间
设 A ∈ K m × n A\in K^{m \times n} A∈Km×n,以 a i a_{i} ai表示 A A A的第 i i i个列向量,称子空间 s p a n { a 1 , a 2 , ⋯ , a n } span\{a_1,a_2,\cdots,a_n\} span{a1,a2,⋯,an}为矩阵 A A A的值域或列空间,记为 R ( A ) R(A) R(A);称集合 { x ∣ A x = θ , x ∈ K n } \{x\mid Ax=\theta,x\in K^n\} {x∣Ax=θ,x∈Kn}为 A A A的核或零空间,记为 N ( A ) N(A) N(A);集合 R ( A T ) = s p a n { b 1 , b 2 , ⋯ , b m } , b i ∈ A T R(A^T)=span\{b_1,b_2,\cdots,b_m\},b_i \in A^T R(AT)=span{b1,b2,⋯,bm},bi∈AT为矩阵 A A A的行空间,集合 N ( A T ) = { y ∣ A T y = 0 , y ∈ K n } N(A^T)=\{y\mid A^Ty=0,y\in K^n\} N(AT)={y∣ATy=0,y∈Kn}为 A A A的左零空间。
-
dim R ( A ) = dim R ( A T ) = r a n k A \dim R(A) = \dim R(A^T) = rank A dimR(A)=dimR(AT)=rankA
-
dim N ( A ) = n − r a n k A \dim N(A) = n-rank A dimN(A)=n−rankA
-
dim N ( A T ) = m − r a n k ( A ) \dim N(A^T) = m- rank(A) dimN(AT)=m−rank(A)
-
线性空间 V n V^n Vn的 m m m维子空间 W W W中的任何一个基都可以扩充成 V V V的一个基
子空间的交与和、直和
-
设 V V V是数域 K K K上的线性空间, W 1 , W 2 W_1,W_2 W1,W2是 V V V的两个子空间,则 W 1 ∩ W 2 W_1 \cap W_2 W1∩W2也是 V V V的子空间
-
设 W 1 , W 2 W_1,W_2 W1,W2是线性空间 V V V的两个子空间,称 W 1 , W 2 W_1,W_2 W1,W2的和为
W 1 + W 2 = { α ∣ α = α 1 + α 2 , α 1 ∈ W 1 , α 2 ∈ W 2 } W_1+W_2 = \{\alpha \mid \alpha = \alpha_1+\alpha_2,\alpha_1 \in W_1,\alpha_2 \in W_2\} W1+W2={α∣α=α1+α2,α1∈W1,α2∈W2}
两个子空间的和也为 V V V的子空间
-
dim W 1 + dim W 2 = dim ( W 1 + W 2 ) + dim ( W 1 ∩ W 2 ) \dim W_1 + \dim W_2 = \dim (W_1+W_2) + \dim (W_1 \cap W_2) dimW1+dimW2=dim(W1+W2)+dim(W1∩W2)
-
如果子空间 W 1 , W 2 W_1,W_2 W1,W2的和 W 1 + W 2 W_1+W_2 W1+W2中的每一个元素 α \alpha α表示为
α = α 1 + α 2 , α 1 ∈ W 1 , α 2 ∈ W 2 \alpha = \alpha_1+\alpha_2,\alpha_1 \in W_1,\alpha_2 \in W_2 α=α1+α2,α1∈W1,α2∈W2
如果表示方法是唯一的,则称 W 1 + W 2 W_1+W_2 W1+W2是直和,记为 W 1 + ˙ W 2 W_1 \dot+ W_2 W1+˙W2。下列条件等价
- W 1 + W 2 W_1+W_2 W1+W2是直和
- 零元素的分解式是唯一的 θ = α 1 + α 2 ⟹ α 1 = α 2 = θ \theta = \alpha_1+\alpha_2 \Longrightarrow \alpha_1 = \alpha_2 = \theta θ=α1+α2⟹α1=α2=θ
- W 1 ∩ W 2 = { θ } W_1 \cap W_2 = \{\theta\} W1∩W2={θ}
- dim ( W 1 + W 2 ) = dim W 1 + dim W 2 \dim (W_1+W_2) = \dim W_1 + \dim W_2 dim(W1+W2)=dimW1+dimW2
-
两个子空间的直和的基等于两个子空间的基的组合
-
设 W 1 W_1 W1是线性空间 V n V^n Vn的一个子空间,则必存在 V n V^n Vn的子空间 W 2 W_2 W2,使 V n = W 1 + ˙ W 2 V^n = W_1 \dot + W_2 Vn=W1+˙W2
线性变换
线性变换及其基本性质
设
V
V
V是数域
K
K
K上的线性空间,
T
T
T是
V
V
V的一个变换。如果
∀
α
,
β
∈
V
,
k
∈
K
\forall \alpha,\beta \in V,k\in K
∀α,β∈V,k∈K都有
T
(
α
+
β
)
=
T
(
α
)
+
T
(
β
)
T
(
k
α
)
=
k
T
(
α
)
T(\alpha + \beta) = T(\alpha)+ T(\beta) \\ T(k\alpha) = kT(\alpha)
T(α+β)=T(α)+T(β)T(kα)=kT(α)
则称
T
T
T是
V
V
V的一个线性变换。
特别的有恒等变换和零变换 I ( α ) = α , O ( α ) = θ I(\alpha) = \alpha,O(\alpha) = \theta I(α)=α,O(α)=θ
- T ( θ ) = θ , T ( − α ) = − T ( α ) T(\theta) = \theta,T(-\alpha) = -T(\alpha) T(θ)=θ,T(−α)=−T(α)
- T ( k 1 α 1 + k 2 α 2 + ⋯ + k m α m ) = k 1 T ( α 1 ) + k 2 T ( α 2 ) + ⋯ + k m T ( α m ) T(k_1\alpha_1+k_2\alpha_2+\cdots+k_m\alpha_m) = k_1T(\alpha_1)+k_2T(\alpha_2)+\cdots + k_mT(\alpha_m) T(k1α1+k2α2+⋯+kmαm)=k1T(α1)+k2T(α2)+⋯+kmT(αm)
- 线性变换将线性相关的元素组仍变为线性相关的元素组
- 如果线性变换 T T T是一个单射,则 T T T把线性无关的元素组变成线性无关的元素组
线性变换的运算
- 线性变换的乘积也是线性变换: ( S T ) ( α ) = S ( T ( α ) ) (ST)(\alpha) = S(T(\alpha)) (ST)(α)=S(T(α))
- 线性变换的乘积满足结合律: ( S T ) U = S ( T U ) (ST)U=S(TU) (ST)U=S(TU)
- 线性变换的逆变换: T S = S T = I , S = T − 1 TS=ST=I,S=T^{-1} TS=ST=I,S=T−1
- 线性变换可逆的充要条件是 T T T是单射,且逆变换是唯一的
- ( S + T ) ( α ) = S ( α ) + T ( α ) (S+T)(\alpha) = S(\alpha)+T(\alpha) (S+T)(α)=S(α)+T(α)
- ( − T ) ( α ) = − T ( α ) (-T)(\alpha) = -T(\alpha) (−T)(α)=−T(α)
- ( k T ) ( α ) = k T ( α ) (kT)(\alpha) = kT(\alpha) (kT)(α)=kT(α)
- T n = T T ⋯ T , T − n = ( T − 1 ) n , T m + n = T m T n , ( S T ) n ≠ S n T n T^n = TT\cdots T,T^{-n} = (T^{-1})^n,T^{m+n} = T^mT^n,(ST)^n\neq S^nT^n Tn=TT⋯T,T−n=(T−1)n,Tm+n=TmTn,(ST)n=SnTn
- 线性变换 T T T的多项式 f ( T ) = a m T m + ⋯ + a 1 T + a 0 I f(T)=a_mT^m+\cdots + a_1T+a_0I f(T)=amTm+⋯+a1T+a0I
线性变换的值域与核
-
设 V V V是数域 K K K上的线性空间, T T T是 V V V的线性变换
-
V V V中元素在 T T T下像的集合称为 T T T的值域,记为 R ( T ) R(T) R(T)
R ( T ) = { T ( α ) ∣ α ∈ V } R(T) = \{T(\alpha) \mid \alpha \in V\} R(T)={T(α)∣α∈V} -
V V V中所有被 T T T变为零元的原像组成的集合称为 T T T的核,记为 N ( T ) N(T) N(T)
N ( T ) = { α ∣ T ( α ) = θ , α ∈ V } N(T) = \{\alpha \mid T(\alpha) = \theta,\alpha\in V\} N(T)={α∣T(α)=θ,α∈V}
-
-
T T T的值域与核都是 V V V的子空间
-
R ( T ) R(T) R(T)的维数为 T T T的秩,记为 rank T \text{rank } T rank T; N ( T ) N(T) N(T)的维数为 T T T的零度,记为 null T \text{null } T null T
-
设 V V V是数域 K K K上的 n n n维线性空间, α 1 , α 2 , ⋯ , α n \alpha_1,\alpha_2,\cdots,\alpha_n α1,α2,⋯,αn是 V V V的一个基, T T T是 V V V的线性变换,
- R ( T ) = s p a n { T ( α 1 ) , T ( α 2 ) , ⋯ , T ( α n ) } R(T) = span\{T(\alpha_1),T(\alpha_2),\cdots,T(\alpha_n)\} R(T)=span{T(α1),T(α2),⋯,T(αn)}
- rank T + null T = n \text{rank }T + \text{null }T = n rank T+null T=n
线性变换的矩阵表示
线性变换的矩阵
设
V
V
V是数域
K
K
K上的
n
n
n维线性空间,
α
1
,
α
2
,
⋯
,
α
n
\alpha_1,\alpha_2,\cdots,\alpha_n
α1,α2,⋯,αn是
V
V
V的一个基,
T
T
T是
V
V
V的线性变换,基的像
T
(
α
1
)
,
T
(
α
2
)
,
⋯
,
T
(
α
n
)
T(\alpha_1),T(\alpha_2),\cdots,T(\alpha_n)
T(α1),T(α2),⋯,T(αn)可唯一的由基
α
1
,
α
2
,
⋯
,
α
n
\alpha_1,\alpha_2,\cdots,\alpha_n
α1,α2,⋯,αn线性表示:
{
T
(
α
1
)
=
a
11
α
1
+
a
21
α
2
+
⋯
+
a
n
1
α
n
,
T
(
α
2
)
=
a
12
α
1
+
a
22
α
2
+
⋯
+
a
n
2
α
n
,
⋯
⋯
⋯
⋯
T
(
α
n
)
=
a
1
n
α
1
+
a
2
n
α
2
+
⋯
+
a
n
n
α
n
.
\left\{\begin{array}{c} T\left(\boldsymbol{\alpha}_1\right)=a_{11} \boldsymbol{\alpha}_1+a_{21} \boldsymbol{\alpha}_2+\cdots+a_{n 1} \boldsymbol{\alpha}_n, \\ T\left(\boldsymbol{\alpha}_2\right)=a_{12} \boldsymbol{\alpha}_1+a_{22} \boldsymbol{\alpha}_2+\cdots+a_{n 2} \boldsymbol{\alpha}_n, \\ \cdots \cdots \cdots \cdots \\ T\left(\boldsymbol{\alpha}_n\right)=a_{1 n} \boldsymbol{\alpha}_1+a_{2 n} \boldsymbol{\alpha}_2+\cdots+a_{n n} \boldsymbol{\alpha}_n . \end{array}\right.
⎩
⎨
⎧T(α1)=a11α1+a21α2+⋯+an1αn,T(α2)=a12α1+a22α2+⋯+an2αn,⋯⋯⋯⋯T(αn)=a1nα1+a2nα2+⋯+annαn.
称矩阵
A
=
(
a
i
j
)
n
×
n
A=(a_{ij})_{n \times n}
A=(aij)n×n为
T
T
T在基
α
1
,
α
2
,
⋯
,
α
n
\alpha_1,\alpha_2,\cdots,\alpha_n
α1,α2,⋯,αn下的矩阵。上式也可表示为
T
(
α
1
,
α
2
,
⋯
,
α
n
)
≜
(
T
(
α
1
)
,
T
(
α
2
)
,
⋯
,
T
(
α
n
)
)
=
(
α
1
,
α
2
,
⋯
,
α
n
)
A
T(\alpha_1,\alpha_2,\cdots,\alpha_n) \triangleq (T(\alpha_1),T(\alpha_2),\cdots,T(\alpha_n) )= (\alpha_1,\alpha_2,\cdots,\alpha_n) A
T(α1,α2,⋯,αn)≜(T(α1),T(α2),⋯,T(αn))=(α1,α2,⋯,αn)A
设线性空间
V
n
V^n
Vn的线性变换
T
T
T在
V
n
V^n
Vn的基
α
1
,
α
2
,
⋯
,
α
n
\alpha_1,\alpha_2,\cdots,\alpha_n
α1,α2,⋯,αn和基
β
1
,
β
2
,
⋯
,
β
n
\beta_1,\beta_2,\cdots,\beta_n
β1,β2,⋯,βn的下的矩阵分别为
A
,
B
A,B
A,B,且由基
α
1
,
α
2
,
⋯
,
α
n
\alpha_1,\alpha_2,\cdots,\alpha_n
α1,α2,⋯,αn到基
β
1
,
β
2
,
⋯
,
β
n
\beta_1,\beta_2,\cdots,\beta_n
β1,β2,⋯,βn的过渡矩阵为
P
P
P,则
B
=
P
−
1
A
P
B = P^{-1}AP
B=P−1AP,即同一线性变换在不同基下的矩阵是相似的,且相似变换矩阵就是两个基之间的过渡矩阵。
设 α 1 , α 2 , ⋯ , α n \alpha_1,\alpha_2,\cdots,\alpha_n α1,α2,⋯,αn是线性空间 V V V的一个基, T T T和 S S S是 V V V的两个线性变换,且它们在基 α 1 , α 2 , ⋯ , α n \alpha_1,\alpha_2,\cdots,\alpha_n α1,α2,⋯,αn下的矩阵分别是 A , B A,B A,B
-
T + S T+S T+S在基 α 1 , α 2 , ⋯ , α n \alpha_1,\alpha_2,\cdots,\alpha_n α1,α2,⋯,αn下的矩阵为 A + B A+B A+B
-
k T kT kT在基 α 1 , α 2 , ⋯ , α n \alpha_1,\alpha_2,\cdots,\alpha_n α1,α2,⋯,αn下的矩阵为 k A kA kA
-
T S TS TS在基 α 1 , α 2 , ⋯ , α n \alpha_1,\alpha_2,\cdots,\alpha_n α1,α2,⋯,αn下的矩阵为 A B AB AB
-
r a n k T = r a n k A rank T = rank A rankT=rankA
-
T T T可逆的充分必要条件是 A A A可逆,且 T − 1 T^{-1} T−1在基 α 1 , α 2 , ⋯ , α n \alpha_1,\alpha_2,\cdots,\alpha_n α1,α2,⋯,αn下的矩阵为 A − 1 A^{-1} A−1
-
若 α ∈ V \alpha \in V α∈V在 α 1 , α 2 , ⋯ , α n \alpha_1,\alpha_2,\cdots,\alpha_n α1,α2,⋯,αn下的坐标为 x = ( x 1 , x 2 , ⋯ , x n ) T x=(x_1,x_2,\cdots,x_n)^T x=(x1,x2,⋯,xn)T,则 T ( α ) T(\alpha) T(α)在基 α 1 , α 2 , ⋯ , α n \alpha_1,\alpha_2,\cdots,\alpha_n α1,α2,⋯,αn下的坐标 y = ( y 1 , y 2 , ⋯ , y n ) T y=(y_1,y_2,\cdots,y_n)^T y=(y1,y2,⋯,yn)T可以按照公式 y = A x y=Ax y=Ax来计算
线性变换的化简
V
V
V是数域
K
K
K上的线性空间,
T
T
T是
V
V
V的线性变换,如果存在
K
K
K中的数
λ
\lambda
λ和
V
V
V中非零元
α
\alpha
α,使得
T
(
α
)
=
λ
α
T(\alpha) = \lambda \alpha
T(α)=λα
称
λ
\lambda
λ为
T
T
T的特征值,
α
\alpha
α为
T
T
T的对应特征值
λ
\lambda
λ的特征向量
T T T的特征向量在基 α 1 , α 2 , ⋯ , α n \alpha_1,\alpha_2,\cdots,\alpha_n α1,α2,⋯,αn下的坐标就是矩阵 A A A对应的特征向量
设 V V V是数域 K K K上的 n n n维线性空间, T T T是 V V V的线性变换,存在 V V V的一个基使得 T T T在该基下的矩阵为对角矩阵:
- ⟺ T \iff T ⟺T在数域 K K K上有 n n n个线性无关的特征向量
- ⟹ T \Longrightarrow T ⟹T在数域 K K K上有 n n n个互异的特征值
- ⟺ T \iff T ⟺T在数域 K K K上有 n n n个特征值,且每个重特征值对应的线性无关特征向量的个数恰等于该特征值的重数
不变子空间
设 T T T是数域 K K K上线性空间 V V V的一个线性变换, W W W是 V V V的一个子空间。如果 W W W中的元素在 T T T下的像仍在 W W W中,即 ∀ α ∈ W , T ( α ) ∈ W \forall \alpha \in W,T(\alpha) \in W ∀α∈W,T(α)∈W,则称 W W W是 T T T的不变子空间。
-
整个线性空间 V V V及 V V V的子空间 { θ } \{\theta\} {θ}对于每个线性变换 T T T来说都是不变子空间,称它们为平凡不变子空间
-
线性变换 T T T的值域 R ( T ) R(T) R(T)与核 N ( T ) N(T) N(T)都是 T T T的不变子空间
-
λ 0 \lambda_0 λ0是 T T T的一个特征值,称 T T T对应特征值 λ 0 \lambda_0 λ0的全体特征向量再添上零元所构成的集合为 T T T对应 λ 0 \lambda_0 λ0的特征子空间,记为 V λ 0 V_{\lambda_0} Vλ0,是 T T T的不变子空间
V λ 0 = { α ∣ T ( α ) = λ 0 α , α ∈ V } V_{\lambda_0} = \{\alpha \mid T(\alpha) = \lambda_0\alpha,\alpha \in V\} Vλ0={α∣T(α)=λ0α,α∈V}
设 T T T是数域 K K K上 n n n维线性空间 V V V的一个线性变换, W W W是 T T T的一个非平凡不变子空间。 α 1 , α 2 , ⋯ , α s \alpha_1,\alpha_2,\cdots,\alpha_s α1,α2,⋯,αs是 W W W中的一个基,将它扩充到 V V V的基 α 1 , α 2 , ⋯ , α s , α s + 1 , ⋯ , α n \alpha_1,\alpha_2,\cdots,\alpha_s,\alpha_{s+1},\cdots,\alpha_{n} α1,α2,⋯,αs,αs+1,⋯,αn。对于 α i , i = 1 , 2 ⋯ , s , s + 1 , ⋯ , n \alpha_i,i=1,2\cdots,s,s+1,\cdots,n αi,i=1,2⋯,s,s+1,⋯,n, T T T在它们下的矩阵为
一个上三角分块矩阵。
{
T
(
α
1
)
=
a
11
α
1
+
⋯
+
a
s
1
α
s
,
⋯
⋯
⋯
⋯
T
(
α
s
)
=
a
1
,
α
1
+
⋯
+
a
s
α
s
,
T
(
α
s
+
1
)
=
a
1
,
s
+
1
α
1
+
⋯
+
a
s
,
s
+
1
α
s
+
a
s
+
1
,
+
1
α
s
+
1
+
⋯
+
a
n
,
s
+
1
α
n
,
⋯
⋯
⋯
⋯
T
(
α
n
)
=
a
1
n
α
1
+
⋯
+
a
s
1
α
s
+
a
s
+
1
,
n
α
s
+
1
+
⋯
+
a
m
α
n
.
\left\{\begin{aligned} &T\left(\boldsymbol{\alpha}_1\right)= a_{11} \boldsymbol{\alpha}_1+\cdots+a_{s 1} \boldsymbol{\alpha}_s, \\ &\cdots \cdots \cdots \cdots \\ &T\left(\boldsymbol{\alpha}_s\right)= a_{1,} \boldsymbol{\alpha}_1+\cdots+a_s \boldsymbol{\alpha}_s, \\ &T\left(\boldsymbol{\alpha}_{s+1}\right)= a_{1, s+1} \boldsymbol{\alpha}_1+\cdots+a_{s, s+1} \boldsymbol{\alpha}_s+a_{s+1,+1} \boldsymbol{\alpha}_{s+1}+\cdots+a_{n, s+1} \boldsymbol{\alpha}_n, \\ & \quad \cdots \cdots \cdots \cdots \\ &T\left(\boldsymbol{\alpha}_n\right)= a_{1 n} \boldsymbol{\alpha}_1+\cdots+a_{s 1} \boldsymbol{\alpha}_s+a_{s+1, n} \boldsymbol{\alpha}_{s+1}+\cdots+a_m \boldsymbol{\alpha}_n . \end{aligned}\right.
⎩
⎨
⎧T(α1)=a11α1+⋯+as1αs,⋯⋯⋯⋯T(αs)=a1,α1+⋯+asαs,T(αs+1)=a1,s+1α1+⋯+as,s+1αs+as+1,+1αs+1+⋯+an,s+1αn,⋯⋯⋯⋯T(αn)=a1nα1+⋯+as1αs+as+1,nαs+1+⋯+amαn.
A = [ A 11 A 12 O A 22 ] A = \begin{bmatrix} A_{11}&A_{12}\\ O &A_{22} \end{bmatrix} A=[A11OA12A22]
相反,如果线性变换 T T T在基下的矩阵具有这样的形式,表明由该基生成的子空间是 T T T的不变子空间
如果线性空间
V
V
V分解为若干个
T
T
T的不变子空间
W
i
W_i
Wi的直和
V
=
W
1
+
˙
W
2
+
˙
⋯
+
˙
W
m
V = W_1 \dot+ W_2 \dot+\cdots \dot+W_m
V=W1+˙W2+˙⋯+˙Wm
类似的,在每个不变子空间中取一组基,构成
V
V
V的一个基,
T
T
T在该基下的矩阵为一个分块对角矩阵
A
=
[
A
1
A
2
⋱
A
m
]
A = \begin{bmatrix} A_1 &&&\\ &A_2&&\\ &&\ddots&\\ &&&A_m \end{bmatrix}
A=
A1A2⋱Am
相反,如果
T
T
T在某个基下的矩阵是分块对角矩阵,则由每个分块矩阵的基生成的子空间是
T
T
T的不变子空间,
V
V
V是它们的直和
注意到 Jordan \text{Jordan} Jordan矩阵是一个特殊的分块对角矩阵,所以对于线性空间 V n V^n Vn上的线性变换 T T T,求 V n V^n Vn的某个基使 T T T在该基下的矩阵为 Jordan \text{Jordan} Jordan矩阵,实质上是将 V n V^n Vn分解成若干个子空间的直和,而这些子空间是由 T T T的特征向量或广义特征向量生成的。