第二十五讲:复习二
1.第14到24讲总结
- 我们学习了正交性(正交向量和正交补),有矩阵 Q=[q1 q2 ⋯ qn] ,若其列向量相互正交,则该矩阵满足 QTQ=I 。
进一步研究投影(求解 Ax=b 和最小二乘法),我们了解了Gram-Schmidt正交化法,核心思想是求法向量,即从原向量中减去投影向量 E=b−P,P=Ax=A⋅ATbATA 。
接着学习了行列式,根据行列式的前三条性质,我们拓展出了性质4-10。
我们继续推导出了一个利用代数余子式求行列式的公式。
又利用代数余子式推导出了一个求逆矩阵的公式(克拉默法则)、逆矩阵的求法和矩阵的几何意义。
- 接下来我们学习了特征值与特征向量的意义: Ax=λx ,进而了解了通过 det(A−λI)=0 求特征值、特征向量的方法。
- 有了特征值与特征向量,我们掌握了通过公式 AS=ΛS 对角化矩阵,同时掌握了求矩阵的幂 Ak=SΛkS−1 。
- 最后是对角化、特征值和特征向量和正交化的应用,应用在:矩阵的幂、微分方程和 eAt 、马尔可夫矩阵和傅立叶级数。
注:微分方程不在本讲的范围内。下面通过往年例题复习上面的知识。
2. 例子
1. 1)求
a=⎡⎣⎢212⎤⎦⎥
的投影矩阵
P
;
2)求
3) 有差分方程
uk+1=Puk, u0=⎡⎣⎢990⎤⎦⎥
,求解
uk
.
解: (15、21、22、23讲)
1)求
a=⎡⎣⎢212⎤⎦⎥
的投影矩阵
P
:
2)求
P
矩阵的特征值:观察矩阵易知矩阵奇异,且为秩一矩阵,则其零空间为
求
λ3=1
的特征向量:由
Px=x
我们知道经其意义为,
x
过矩阵
3)有差分方程
uk+1=Puk, u0=⎡⎣⎢990⎤⎦⎥
,求解
uk
:
我们先不急于解出特征值、特征向量,因为矩阵很特殊(投影矩阵)。
首先观察
u1=Pu0
,式子相当于将
u0
投影在了
a
的列空间中,计算得
总结:
上面的解法利用了投影矩阵的特殊性质,如果在一般情况下,我们需要使用 AS=SΛ→A=SΛS−1→uk+1=Auk=Ak+1u0,u0=Sc→uk+1=SΛk+1S−1Sc=SΛk+1c ,最终得到公式 Aku0=c1λk1x1+c2λk2x2+⋯+cnλknxn 。题中 P 的特殊性在于它的两个“零特征值”及一个“一特征值”使得式子变为Aku0=c3x3 ,所以得到了上面结构特殊的解。
2.将点 (1,4), (2,5), (3,8) 拟合到一条过零点的直线上。
解: (15、16讲)
设直线为
y=Dt
,写成矩阵形式为
⎡⎣⎢123⎤⎦⎥D=⎡⎣⎢458⎤⎦⎥
,即
AD=b
,很明显
D
不存在。利用公式
3.求 a1=⎡⎣⎢123⎤⎦⎥ a2=⎡⎣⎢111⎤⎦⎥ 的正交向量
解: (17讲)
找到平面
A=[a1,a2]
的正交基,使用Gram-Schmidt法,以
a1
为基准,正交化
a2
,也就是将
a2
中平行于
a1
的分量去除,即
a2−xa1=a2−aT1a2aT1a1a1=⎡⎣⎢111⎤⎦⎥−614⎡⎣⎢123⎤⎦⎥
。
4.有
4×4
矩阵
A
,
1)其特征值为
2)
trace(A+I)
的迹是什么。
解: (21、22讲)
1)矩阵可逆,则零空间中只有零向量,即
Ax=0x
没有非零解,则零不是矩阵的特征值。
detA−1
是什么:
detA−1=1detA
,而
detA=λ1λ2λ3λ4
,所以有
detA−1=1λ1λ2λ3λ4
。
2) trace(A+I) 的迹是什么:我们知道 trace(A)=a11+a22+a33+a44=λ1+λ2+λ3+λ4 ,所以有 trace(A+I)=a11+1+a22+1+a33+1+a44+1=λ1+λ2+λ3+λ4+4 。
5.有矩阵
A4=⎡⎣⎢⎢⎢1100111001110011⎤⎦⎥⎥⎥
,
1)求
Dn=?Dn−1+?Dn−2
;
2)判断递归式是否收敛。
解:
1)求递归式的系数,使用代数余子式将矩阵安第一行展开得
detA4=1⋅∣∣∣∣110111011∣∣∣∣−1⋅∣∣∣∣100111011∣∣∣∣=1⋅∣∣∣∣110111011∣∣∣∣−1⋅∣∣∣1111∣∣∣=detA3−detA2
。则可以看出有规律
Dn=Dn−1−Dn−2,D1=1,D2=0
。
使用我们在差分方程中的知识构建方程组
{DnDn−1=Dn−1−Dn−2=Dn−1
,用矩阵表达有
[DnDn−1]=[11−10][Dn−1Dn−2]
。计算系数矩阵
Ac
的特征值,
∣∣∣1−λ11−λ∣∣∣=λ2−λ+1=0
,解得
λ1=1+3√i2,λ2=1−3√i2
,特征值为一对共轭复数。
2)要判断递归式是否收敛,需要计算特征值的模,即实部平方与虚部平方之和 14+34=1 。它们是位于单位圆 eiθ 上的点,即 cosθ+isinθ ,从本例中可以计算出 θ=60∘ ,也就是可以将特征值写作 λ1=eiπ/3,λ2=e−iπ/3 。注意,从复平面单位圆上可以看出,这些特征值的六次方将等于一: e2πi=e2πi=1 。继续深入观察这一特性对矩阵的影响, λ61=λ6=1 ,则对系数矩阵有 A6c=I 。则系数矩阵 Ac 服从周期变化,既不发散也不收敛。
6.有这样一类矩阵 A4=⎡⎣⎢⎢⎢0100102002030030⎤⎦⎥⎥⎥ ,求投影到 A3 列空间的投影矩阵
解:
有
A3=⎡⎣⎢010102020⎤⎦⎥
,按照通常的方法求
P=A(ATA)−1AT
即可,但是这样很麻烦。我们可以考察这个矩阵是否可逆,因为如果可逆的话,
R4
空间中的任何向量都会位于
A4
的列空间,其投影不变,则投影矩阵为单位矩阵
I
。所以按行展开求行列式
求
A3
的特征值及特征向量:
|A3−λI|=∣∣∣∣−λ101−λ202−λ∣∣∣∣=−λ3+5λ=0
,解得
λ1=0,λ2=5√,λ3=−5√
。
我们可以猜测这一类矩阵的规律:奇数阶奇异,偶数阶可逆。
第二十六讲:对称矩阵及正定性
前面我们学习了矩阵的特征值与特征向量,也了解了一些特殊的矩阵及其特征值、特征向量,特殊矩阵的特殊性应该会反映在其特征值、特征向量中。如马尔科夫矩阵,有一特征值为
1
,本讲介绍(实)对称矩阵(
1.对称矩阵
1.1对称矩阵的性质
先提前介绍两个对称矩阵的特性:
特征值为实数;(对比第二十一讲介绍的旋转矩阵,其特征值为纯虚数。)
特征向量相互正交。(如果特征值互不相同,那么每个特征值的特征向量是在单独的一条线上,那些线是垂直正交的;如果特征值重复,那就有一整个平面的特征向量,在那个平面上,我们可以选择垂直的向量),我们可以将这组特征向量转化为标准正交向量。
解释:
1.单位矩阵
单位矩阵是对称矩阵,特征值都为1,每一个向量都是特征向量。
2.在通常(可对角化)情况下,一个矩阵可以化为:
A=SΛS−1
;
在矩阵对称的情况下,通过性质2可知,由特征向量组成的矩阵
S
中的列向量是
A=QΛQ−1=QΛQT(1)
观察 (1) 式,我们发现这个分解本身就代表着对称, (QΛQT)T=(QT)TΛTQT=QΛQT 。
注:
(1)
式在数学上叫做谱定理(spectral theorem),谱就是指矩阵特征值的集合。(该名称来自光谱,指一些纯事物的集合,就像将特征值分解成为特征值与特征向量。)
(1)
式在力学上称之为主轴定理(principle axis theorem),从几何上看,它意味着如果给定某种材料,在合适的轴上来看,它就变成对角化的,方向就不会重复。
1.2性质的证明
现在我们来证明性质1。
1)对于矩阵
Ax=λx−−−−−−−
;
2)对于其共轭部分总有
A¯x¯=λ¯x¯
,根据前提条件我们只讨论实矩阵,则有
Ax¯=λ¯x¯
,将等式两边取转置有
x¯TA=x¯Tλ¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯¯
;
3)将“下划线”式两边左乘
x¯T
有
x¯TAx=x¯Tλx
,“上划线”式两边右乘
x
有
注:
观察这个前提条件,x¯Tx=[x¯1x¯2⋯x¯n]⎡⎣⎢⎢⎢⎢x1x2⋮xn⎤⎦⎥⎥⎥⎥=x¯1x1+x¯2x2+⋯+x¯nxn,设 x1=a+ib,x¯1=a−ib 则 x¯1x1=a2+b2 ,所以有 x¯Tx>0 。而 x¯Tx 就是 x 长度的平方。
1.3性质拓展
拓展这个性质:
1)当
2)继续研究
A=QΛQT=[q1 q2 ⋯ qn]⎡⎣⎢⎢⎢⎢⎢λ1⋮λ2⋮⋯⋯⋱⋯⋮λn⎤⎦⎥⎥⎥⎥⎥⎡⎣⎢⎢⎢⎢⎢qT1qT1⋮qT1⎤⎦⎥⎥⎥⎥⎥=λ1q1qT1+λ2q2qT2+⋯+λnqnqTn
,注意这个展开式中的
qqT
,
q
是单位列向量所以
每一个对称矩阵都可以分解为一系列相互正交的投影矩阵。
3)在知道对称矩阵的特征值皆为实数后,我们再来讨论这些实数的符号,因为特征值的正负号会影响微分方程的收敛情况(第二十三讲,需要实部为负的特征值保证收敛)。用消元法取得矩阵的主元,观察主元的符号,主元符号的正负数量与特征向量的正负数量相同。即:
主元符号的正负数量与特征向量的正负数量相同。
特征值之积等于主元之积。
2.正定矩阵
如果对称矩阵是“好矩阵”,则正定矩阵(positive definite)是其一个更好的子类。
正定矩阵指特征值均为正数的矩阵(根据上面的性质有矩阵的主元均为正)。
正定矩阵所有子行列式为正。
举个例子,
[5223]
,由行列式消元知其主元为
5,115
,按一般的方法求特征值有
∣∣∣5−λ223−λ∣∣∣=λ2−8λ+11=0,λ=4±5√
。
正定矩阵的另一个性质是,所有子行列式为正。对上面的例子有
|5|=5,∣∣∣5223∣∣∣=11
。
我们看到正定矩阵将早期学习的的消元主元、中期学习的的行列式、后期学习的特征值结合在了一起。
如果一个实对称矩阵的特征值都是正数,那么它是正定矩阵 。
正定矩阵的主元也都是正数 。
正定矩阵的所有子行列式都是正数 。
正定矩阵将方阵特征值,主元,行列式融为一体 。
3.本章总结
对称矩阵( AT=A ):
1)性质:特征值为实数,特征向量相互正交( A=QΛQ−1=QΛQT )。
2)当 A 为复矩阵,根据上面的推导,则矩阵必须满足AT=A和A=A¯T 时,才有性质1、性质2成立。
3)主元符号的正负数量与特征向量的正负数量相同;特征值之积等于主元之积。正定矩阵
如果一个实对称矩阵的特征值都是正数,那么它是正定矩阵。
正定矩阵的主元也都是正数。
正定矩阵的所有子行列式都是正数。
正定矩阵将方阵特征值,主元,行列式融为一体。
第二十七讲:复数矩阵和快速傅里叶变换
本讲主要介绍复数向量、复数矩阵的相关知识(包括如何做复数向量的点积运算、什么是复数对称矩阵等),以及傅里叶矩阵(最重要的复数矩阵)和快速傅里叶变换。
一个重要的复矩阵的例子就是傅里叶矩阵。还将介绍傅里叶变换,简称FFT,在计算机里常用,特别是当涉及到大数据的时候,因为它可以很快的进行傅里叶变换,即是说做乘法时,怎样才能快速用这个
n
阶方阵做乘法,通常,
1.复数矩阵运算
1.1.计算复向量的模与内积
先介绍复数向量,我们不妨换一个字母符号来表示:
z=⎡⎣⎢⎢⎢⎢z1z2⋮zn⎤⎦⎥⎥⎥⎥
,向量的每一个分量都是复数。此时
z
不再属于
对比实向量,我们计算模只需要计算
|v|=vTv−−−√
即可,而如果对复向量使用
zTz
则有
zTz=[z1z2⋯zn]⎡⎣⎢⎢⎢⎢z1z2⋮zn⎤⎦⎥⎥⎥⎥=z21+z22+⋯+z2n
,这里
zi
是复数,平方后虚部为负,求模时本应相加的运算变成了减法。(如向量
[1i]
,右乘其转置后结果为
0
,但此向量的长度显然不是零。)
根据上一讲我们知道,应使用
我们把共轭转置 z¯T 乘以原向量记为 zHz , H 读作埃尔米特(人名为Hermite,形容词为Hermitian)
有了复向量模的计算公式,同理可得,对于复向量,内积不再是实向量的
1.2. 复数对称矩阵
对于实矩阵, AT=A 即可表达矩阵的对称性。而对于复矩阵,我们同样需要求一次共轭 A¯T=A 。举个例子 [23−i3+i5] 是一个复数情况下的对称矩阵。这叫做埃尔米特矩阵,有性质 AH=A 。
1.3. 正交性
在第十七讲中,我们这样定义标准正交向量:
qTiqj={0i≠j1i=j
。现在,对于复向量我们需要求共轭:
q¯Tiqj=qHiqj={0i≠j1i=j
。
第十七讲中的标准正交矩阵:
Q=[q1 q2 ⋯ qn]
有
QTQ=I
。现在对于复矩阵则有
QHQ=I
。
就像人们给共轭转置起了个“埃尔米特”这个名字一样:
正交性(orthogonal)在复数情况下也有了新名字,酉(unitary), 酉矩阵(unitarymatrix) 与正交矩阵类似,满足:
QHQ=I
而前面提到的 傅里叶矩阵就是一个酉矩阵。
1.4.傅里叶矩阵
n
阶傅里叶矩阵
在傅里叶矩阵中,当我们计算
w
的幂时,
我们现在来看
4
阶傅里叶矩阵,先计算
矩阵的四个列向量正交,我们验证一下第二列和第四列,
c2¯Tc4=1−0+1−0=0
,正交。不过我们应该注意到,
F4
的列向量并不是标准的,我们可以给矩阵乘上系数
12
(除以列向量的长度)得到标准正交矩阵
F4=12⎡⎣⎢⎢⎢11111i−1−i1−11−11−i−1i⎤⎦⎥⎥⎥
。此时有
FH4F4=I
,于是该矩阵的逆矩阵也就是其共轭转置
FH4
。
四阶傅里叶变换作用于四维向量 :
- 傅里叶变换:向量左乘矩阵 F4 (四点傅里叶变换);
- 傅里叶逆变换:向量左乘矩阵 F−14 (四点傅里叶逆变换)。
一个很好的性质: 可以把傅里叶矩阵分解为一些列“稀疏矩阵”。
2. 快速傅里叶变换(Fast Fourier transform/FFT)
对于傅里叶矩阵,
F6, F3
与
F8, F4
和
F64, F32
之间有着特殊的关系。
举例,有傅里叶矩阵
F64
,一般情况下,用一个列向量右乘
F64
需要约
642
次计算,显然这个计算量是比较大的。我们想要减少计算量,于是想要分解
F64
,联系到
F32
,有
[F64]=[IID−D][F3200F32]⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢1010⋯⋯⋯⋯⋱⋱⋯⋯100101⋯⋯⋯⋯⋱⋱⋯⋯01⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥
。
我们分开来看等式右侧的这三个矩阵(分别是第一个矩阵、第二个矩阵和第三个矩阵):
1)第一个矩阵由单位矩阵
I
和对角矩阵
2)第二个矩阵是两个 F32 与零矩阵组成的,计算量约为 2×322 。
3)第三个矩阵通常记为
P
矩阵,这是一个置换矩阵,其作用是讲前一个矩阵中的奇数列提到偶数列之前,
所以我们把
642
复杂度的计算化简为
2×322+32
复杂度的计算,我们可以进一步化简
F32
得到与
F16
有关的式子
[I32I32D32−D32]⎡⎣⎢⎢⎢I16I16D16−D16I16I16D16−D16⎤⎦⎥⎥⎥⎡⎣⎢⎢⎢F16F16F16F16⎤⎦⎥⎥⎥[P16P16][ P32 ]
。而
322
的计算量进一步分解为
2×162+16
的计算量,如此递归下去我们最终得到含有一阶傅里叶矩阵的式子。
来看化简后计算量,
2(2(2(2(2(2(1)2+1)+2)+4)+8)+16)+32
,约为
6×32=log264×642
,算法复杂度为
n2log2n
。
于是原来需要
n2
的运算现在只需要
n2log2n
就可以实现了。不妨看看
n=10
的情况,不使用FFT时需要
n2=1024×1024
次运算,使用FFT时只需要
n2log2n=5×1024
次运算,运算量大约是原来的
1200
。
对于n阶傅里叶变换,无需n2次乘法,只需要n2log2n即可。这是矩阵分解的功劳。
3. 本章总结
酉矩阵和埃尔米特
把共轭转置 z¯T 乘以原向量记为 zHz , H 读作埃尔米特(人名为Hermite,形容词为Hermitian)
酉矩阵(unitarymatrix) :
傅里叶矩阵就是一个酉矩阵(傅里叶变换与逆变换)。
快速傅里叶变换
对于n阶傅里叶变换,无需n2次乘法,只需要n2log2n即可。这是矩阵分解的功劳。
下一讲将继续介绍特征值、特征向量及正定矩阵。