一、马尔可夫矩阵(Markov Matrix)
A
=
[
0.1
0.01
0.3
0.2
0.99
0.3
0.7
0
0.4
]
A=\begin{bmatrix}0.1&0.01&0.3\\0.2&0.99&0.3\\0.7&0&0.4\end{bmatrix}
A=⎣
⎡0.10.20.70.010.9900.30.30.4⎦
⎤
上述矩阵就是一个马尔可夫矩阵,他的特点是:
- 所有列之和为1;
- 所有元素都大于0;
我们比较关心这个矩阵的稳态。由前面的知识可知,矩阵的稳态与其特征值的情况有关。马尔可夫矩阵的特征值和特征向量的情况是:
- λ = 1 \lambda=1 λ=1是马尔可夫矩阵的一个特征向量;
- 除1特征值,满足 ∣ λ i ∣ < 1 \vert \lambda_i\vert<1 ∣λi∣<1;
如果这样的矩阵满足,递推关系
u
k
=
A
k
u
0
u_k=A^ku_0
uk=Aku0
如果写成与特征值和特征向量的关系有:
u
k
=
c
1
λ
1
k
x
1
+
c
2
λ
2
k
x
2
+
⋯
+
c
n
λ
n
k
x
n
u_k=c_1\lambda_1^kx_1+c_2\lambda_2^kx_2+\cdots+c_n\lambda_n^kx_n
uk=c1λ1kx1+c2λ2kx2+⋯+cnλnkxn
假设
λ
1
\lambda_1
λ1是那个满足值为1的特征值,那么整个
u
k
u_k
uk的表达式在次数足够大的时候将会变成只剩下一项
u
k
=
c
1
x
1
u_k=c_1x_1
uk=c1x1
这就是我们的稳态值。 事实上,马尔可夫矩阵还满足特征向量
x
1
x_1
x1所有分量都不小于0,即:
u
k
≥
0
u_k\geq0
uk≥0
为什么特征值中有一个是1?我们假设特征值是马尔可夫矩阵的确实是1,那么有:
B
=
A
−
1
I
=
[
−
0.9
0.01
0.3
0.2
−
0.01
0.3
0.7
0
0.6
]
B=A-1I=\begin{bmatrix}-0.9&0.01&0.3\\0.2&-0.01&0.3\\0.7&0&0.6\end{bmatrix}
B=A−1I=⎣
⎡−0.90.20.70.01−0.0100.30.30.6⎦
⎤
简单观察有,每一列元素之和等于0,意味着
A
−
1
I
A-1I
A−1I是奇异的,也就是行列式
∣
A
−
1
I
∣
=
0
\vert A-1I\vert=0
∣A−1I∣=0,确实满足特征值的定义。
顺便复习一下四个基本子空间:首先看行空间,因为列和为0,且系数组合为 [ 1 1 1 ] \begin{bmatrix}1&1&1\end{bmatrix} [111],也就是 [ 1 1 1 ] \begin{bmatrix}1&1&1\end{bmatrix} [111]在矩阵 B B B的左零空间中;如果存在组合使得结果向量为 [ 0 0 0 ] \begin{bmatrix}0\\0\\0\end{bmatrix} ⎣ ⎡000⎦ ⎤,那么这个系数组合是什么?根据特征值和特征向量的定义,这个系数矩阵就是特征向量。一个小插曲,矩阵 A A A和其转置矩阵 A T A^T AT具有相同的特征值。
实例:我们研究的是两个州的人口情况,两个州的人口随着时间可能发生迁移,矩阵 A A A表示一年之后人口的迁移矩阵,有些人从加州迁移到了麻省,有些从麻省迁移到了加州。这个模型是满足马尔可夫矩阵的,因为:
- 迁移是一个概率问题,因此都大于或等于零;
- 列和是所有情况概率和,等于1;
[
u
c
a
l
u
m
a
s
s
]
k
+
1
=
[
0.9
0.2
0.1
0.8
]
[
u
c
a
l
u
m
a
s
s
]
k
\begin{bmatrix}u_{cal}\\u_{mass}\end{bmatrix}_{k+1}=\begin{bmatrix}0.9&0.2\\0.1&0.8\end{bmatrix}\begin{bmatrix}u_{cal}\\u_{mass}\end{bmatrix}_k
[ucalumass]k+1=[0.90.10.20.8][ucalumass]k
同时,初始人口情况为:
u
0
=
[
u
c
a
l
u
m
a
s
s
]
0
=
[
0
1000
]
u_0=\begin{bmatrix}u_{cal}\\u_{mass}\end{bmatrix}_0=\begin{bmatrix}0\\1000\end{bmatrix}
u0=[ucalumass]0=[01000]
一百年后他们的人口分布情况会是怎样的?你当然可以通过直接矩阵的幂次来计算人数分布,但是这一次我们将会用到这节课学到的特征值和特征向量。
[
0.9
0.2
0.1
0.8
]
\begin{bmatrix}0.9&0.2\\0.1&0.8\end{bmatrix}
[0.90.10.20.8]
上述矩阵的一个特征值和特征向量为:
λ
1
=
1
x
1
=
[
2
1
]
\lambda_1=1 \quad x_1=\begin{bmatrix}2\\1\end{bmatrix}
λ1=1x1=[21]
另一个特征值和特征向量为:
λ
2
=
0.7
x
2
=
[
−
1
1
]
\lambda_2=0.7\quad x_2=\begin{bmatrix}-1\\1\end{bmatrix}
λ2=0.7x2=[−11]
所以:
u
k
=
c
1
1
k
[
2
1
]
+
c
2
(
0.7
)
k
[
−
1
1
]
u_k=c_11^k\begin{bmatrix}2\\1\end{bmatrix}+c_2(0.7)^k\begin{bmatrix}-1\\1\end{bmatrix}
uk=c11k[21]+c2(0.7)k[−11]
结合初始情况,可以求得
c
1
=
1000
3
c_1=\frac{1000}{3}
c1=31000和
c
2
=
2000
3
c_2=\frac{2000}{3}
c2=32000,随着年数的增加0.7项将会逐渐变小,直至可以忽略,所有最后稳态将有特征值为1的项决定。
二、傅立叶级数
对于
n
n
n个相互正交的基,对于任意
n
n
n维向量
v
v
v都可以表示为:
v
=
x
1
q
1
+
x
2
q
2
+
⋯
+
x
n
q
n
v=x_1q_1+x_2q_2+\cdots+x_nq_n
v=x1q1+x2q2+⋯+xnqn
那么对于系数
x
1
x_1
x1,可以通过乘以
q
1
T
q_1^T
q1T求得:
q
1
T
v
=
x
1
q
1
+
0
+
0
+
⋯
=
x
1
q
1
q_1^Tv=x_1q_1+0+0+\cdots=x_1q_1
q1Tv=x1q1+0+0+⋯=x1q1
矩阵形式就更加直观了:
v
=
[
q
1
q
2
⋯
q
n
]
[
x
1
x
2
⋮
x
n
]
=
Q
x
v=\begin{bmatrix}q_1&q_2&\cdots&q_n\end{bmatrix}\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}=Qx
v=[q1q2⋯qn]⎣
⎡x1x2⋮xn⎦
⎤=Qx
即:
x
=
Q
−
1
v
=
Q
T
v
x=Q^{-1}v=Q^Tv
x=Q−1v=QTv
注:别忘了正交矩阵的性质
Q
T
=
Q
−
1
Q^T=Q^{-1}
QT=Q−1
下面将会引出傅立叶级数的概念。对于一个函数
f
(
x
)
f(x)
f(x),满足:
f
(
x
)
=
a
0
+
a
1
cos
x
+
b
1
sin
x
+
a
2
cos
2
x
+
b
2
sin
2
x
+
⋯
f(x)=a_0+a_1\cos x+b_1\sin x+a_2\cos 2x+b_2\sin 2x+\cdots
f(x)=a0+a1cosx+b1sinx+a2cos2x+b2sin2x+⋯
这就是傅立叶级数(Fourier series)的定义,在这里基为:1
cos
x
\cos x
cosx
sin
x
\sin x
sinx
cos
2
x
\cos 2x
cos2x
sin
2
x
\sin2x
sin2x
⋯
\cdots
⋯,再讲这个级数之前我们需要更新以下认知:
- 基可以不是有限的,可以是无穷的;
- 不光向量具有正交概念,函数也有;
重点是如何定义函数正交这个概念:
对于两个列向量
v
v
v和
w
w
w,其点积、内积计算可以通过转置其中一个列向量放在前面:
v
T
w
=
v
1
w
1
+
v
2
w
2
+
⋯
+
v
n
w
n
v^Tw=v_1w_1+v_2w_2+\cdots+v_nw_n
vTw=v1w1+v2w2+⋯+vnwn
那么对于两个函数 f f f和 g g g其定义又是如何?
f
T
g
=
∫
0
2
π
f
(
x
)
g
(
x
)
d
x
f^Tg=\int_0^{2\pi} f(x)g(x)dx
fTg=∫02πf(x)g(x)dx
简单验证一下,
sin
x
\sin x
sinx和
cos
x
\cos x
cosx是否为正交函数?
∫
0
2
π
s
i
n
x
c
o
s
x
=
1
2
sin
2
x
∣
0
2
π
=
0
\int_0^{2\pi}sinx cosx=\frac{1}{2}\sin^2 x|^{2\pi}_0=0
∫02πsinxcosx=21sin2x∣02π=0
没错,他确实等于零。和向量一样,求其中一个基的系数只需要乘以对应的基即可,以
a
1
a_1
a1为例:函数两边同时乘以
cos
x
\cos x
cosx,可以求得:
a
1
=
∫
0
2
π
f
(
x
)
d
x
π
a_1=\frac{\int_0^{2\pi}f(x)dx}{\pi}
a1=π∫02πf(x)dx