概念
本文是在读了黎文科老师神奇的矩阵后,做的一些笔记以及对分解和合成的一点思考,如有问题,欢迎交流。
这里附上一些线性代数中的数学概念。
- 矩阵:描述运动,本质是在一组基描述下的向量(对象)的线性变换 { e 1 , e 2 , . . . , e n } \{e_1,e_2,...,e_n\} {e1,e2,...,en}
- 线性无关基:完备性(数量足够)+线性独立(不能相互表示),可表示任意一个向量
- 正交归一基:基之间相互正交,模为1
- 特征向量:对于一个矩阵(线性变换),特征向量(对象)变换之后方向不变
A x = λ x A\pmb{x}=\lambda \pmb{x} Axxx=λxxx - 向量:可以理解为一组基下的坐标
(
c
1
,
c
2
,
.
.
.
,
c
n
)
(c_1,c_2,...,c_n)
(c1,c2,...,cn)
φ = c 1 e 1 + c 2 e 2 + . . . + c n e n \pmb{\varphi}=c_1\pmb{e_1}+c_2\pmb{e_2}+...+c_n\pmb{e_n} φφφ=c1e1e1e1+c2e2e2e2+...+cnenenen
特征向量与特征值
特征向量的引入是为了选取一组很好的基。
- 分解向量(本质是以特征向量为基,进行坐标变换)
我们知道,对于一个线性变换,只要选定一组基,就可以用一个矩阵 T 1 T_1 T1来描述这个线性变换。换一组基,就得到另一个不同的矩阵 T 2 T_2 T2。如果我们选取特征向量做基的话,空间任意一个向量可用特征向量来表示:
φ = c 1 p 1 + c 2 p 2 + . . . + c n p n \pmb{\varphi}=c_1\pmb{p_1}+c_2\pmb{p_2}+...+c_n\pmb{p_n} φφφ=c1p1p1p1+c2p2p2p2+...+cnpnpnpn
由于线性变换不改变特征向量的方向,故在对向量做线性变换时,形式简单:
A φ = A ( c 1 p 1 + c 2 p 2 + . . . + c n p n ) = c 1 λ 1 p 1 + c 2 λ 2 p 2 + . . . + c n λ n p n A\pmb{\varphi}=A(c_1\pmb{p_1}+c_2\pmb{p_2}+...+c_n\pmb{p_n})=c_1\lambda_1\pmb{p_1}+c_2\lambda_2\pmb{p_2}+...+c_n\lambda_n\pmb{p_n} Aφφφ=A(c1p1p1p1+c2p2p2p2+...+cnpnpnpn)=c1λ1p1p1p1+c2λ2p2p2p2+...+cnλnpnpnpn
综上,我们可以看出,如果一个矩阵(线性变换)存在n个特征向量,那么将它们作为正交基对向量进行分解,比直接进行线性变换大大简化地了运算。 - 分解矩阵
在对矩阵进行对角化后,可以写成如下的形式:
A = P [ λ 1 0 ⋯ 0 0 λ 2 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ λ n ] P T , P = { p 1 , p 2 , . . . , p n } A=P \left[ \begin{matrix} \lambda_1 & 0 & \cdots & 0 \\ 0 &\lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n \\ \end{matrix} \right]P^{T},P=\{\pmb{p_1},\pmb{p_2},...,\pmb{p_n}\} A=P⎣⎢⎢⎢⎡λ10⋮00λ2⋮0⋯⋯⋱⋯00⋮λn⎦⎥⎥⎥⎤PT,P={p1p1p1,p2p2p2,...,pnpnpn}
进一步展开:
A = λ 1 P 1 + . . . + λ n P n , P n = p n p n T A= \lambda_1 P_1+...+\lambda_nP_n,P_n=\pmb{p_n}\pmb{p_n}^{T} A=λ1P1+...+λnPn,Pn=pnpnpnpnpnpnT
这里的目的是对线性变换进行展开,叫做谱分解,主成分分析里有这东西。
从特征向量看信号与系统
众所周知,信号与系统讨论的系统是线性时不变系统,而线性时不变系统的特征向量就是e指数函数,所以我们选取特征向量(e指数函数)为基,对时域信号进行分解(即获取它在特征向量基底下的坐标),这就是傅里叶分析。线性时不变系统的特征向量就是e指数函数也是我们采用傅里叶分析的原因,所谓的频域空间就是e指数函数空间。
下面我们证明一下线性时不变系统的特征向量就是e指数函数,
T
T
T代表系统的作用:
T
[
e
j
ω
t
]
=
g
(
t
)
T[e^{j\omega t}]=g(t)
T[ejωt]=g(t)
g
(
t
)
=
∫
e
j
ω
τ
h
(
t
−
τ
)
d
τ
g(t)=\int e^{j\omega \tau}h(t-\tau){\rm d\tau}
g(t)=∫ejωτh(t−τ)dτ
g
(
t
)
=
e
j
ω
t
∫
e
−
j
ω
x
h
(
x
)
d
x
g(t)=e^{j\omega t}\int e^{-j\omega x}h(x){\rm dx}
g(t)=ejωt∫e−jωxh(x)dx
g
(
t
)
=
H
(
ω
)
e
j
ω
t
g(t)=H(\omega)e^{j\omega t}
g(t)=H(ω)ejωt
T
[
e
j
ω
t
]
=
H
(
ω
)
e
j
ω
t
T[e^{j\omega t}]=H(\omega)e^{j\omega t}
T[ejωt]=H(ω)ejωt
可以发现,e指数函数经过线性时不变系统系统的作用后方向不变,即为系统的特征向量。
回到上面的分解向量,两者的本质思想是一样的,唯一的差别在于维度上。所以说,信号中线性-分解-合成时选取傅里叶变换和拉普拉斯变换是有道理的。
拓展
- 我们可以发现,线性微分方程的特征向量也是e指数函数,这也是我们取其为基,表示解的原因。
- 用特征函数解的方程是最简洁的,否则,如果用级数的方式解方程,会发现方程的解有无穷多项。在解贝塞尔方程时,我们没有找到特征函数,于是退而求其次才选择级数求解,至少级数具有完备性。
- 数学中的分解方法有很多,各类的积分变换都对应着一个函数空间,具体要看我们想选取哪一组基去刻画对象,然后得到对象在目标基底下的坐标。
对于泰勒展开,我们选取了多项式为基,由多项式构成的空间就叫多项式空间。对傅里叶变换,我们选取了三角函数为基,由三角函数构成的空间就叫做频率空间。
Reference:
1.神奇的矩阵第二季.黎文科