超级会员免费看
1. 平稳测度和可逆测度
本节首先介绍平稳测度的定义及其示例, 然后给出可逆测度的定义, 并且说明可逆测度是平稳测度, 初始分布可逆的马氏链, 其对偶马氏链的转移概率和本身的转移概率相同(这也是可逆测度被称为可逆的原因).
1.1. 平稳测度
测度
μ
\mu
μ被称为平稳测度(stationary measure), 如果
P
μ
(
X
1
=
y
)
=
μ
(
y
)
P_{\mu}\left(X_{1}=y\right)=\mu(y)
Pμ(X1=y)=μ(y), 即
∑
x
μ
(
x
)
p
(
x
,
y
)
=
μ
(
y
)
\sum_{x} \mu(x) p(x, y)=\mu(y)
x∑μ(x)p(x,y)=μ(y)
由马氏性和归纳法, 可得对所有
n
≥
1
n \geq 1
n≥1,
P
μ
(
X
n
=
y
)
=
μ
(
y
)
P_{\mu}\left(X_{n}=y\right)=\mu(y)
Pμ(Xn=y)=μ(y).
如果 μ \mu μ 是概率测度, 称 μ \mu μ是一个平稳分布(stationary distribution), 表示马氏链的一个可能的均衡. 即如果 X 0 X_{0} X0有分布 μ \mu μ, 则对所有 n ≥ 1 n \geq 1 n≥1, X n X_{n} Xn的分布也是 μ \mu μ.
示例 5.5.1 (d维整数空间上随机游走的平稳测度) 考虑d维整数空间上随机游走, 转移概率是
p ( x , y ) = f ( y − x ) p(x, y)=f(y-x) p(x,y)=f(y−x)
其中 f ( z ) ≥ 0 f(z) \geq 0 f(z)≥0, 且 ∑ f ( z ) = 1 \sum f(z)=1 ∑f(z)=1. 证明 μ ( x ) ≡ 1 \mu(x) \equiv 1 μ(x)≡1 是一个平稳测度(单点测度为1).
证明：满足
∑
x
p
(
x
,
y
)
=
1
\sum_{x} p(x, y)=1
∑xp(x,y)=1的转移概率被称为重随机 (doubly stochastic). 这是
μ
(
x
)
≡
1
\mu(x) \equiv 1
μ(x)≡1成为平稳测度的充要条件. 因为
∑
x
μ
(
x
)
p
(
x
,
y
)
=
∑
x
p
(
x
,
y
)
=
∑
x
f
(
y
−
x
)
=
1
\sum_{x} \mu(x)p(x, y)=\sum_{x} p(x, y)=\sum_{x} f(y-x)=1
x∑μ(x)p(x,y)=x∑p(x,y)=x∑f(y−x)=1
示例 5.5.2 (1维整数空间上对称简单随机游走的平稳测度). S = Z S=\mathrm{Z} S=Z. 转移概率为
p ( x , x + 1 ) = p p ( x , x − 1 ) = q = 1 − p p(x, x+1)=p \quad p(x, x-1)=q=1-p p(x,x+1)=pp(x,x−1)=q=1−p
μ ( x ) ≡ 1 \mu(x) \equiv 1 μ(x)≡1是一个平稳测度. 证明当 p ≠ q p \neq q p=q, μ ( x ) = ( p / q ) x \mu(x)=(p / q)^{x} μ(x)=(p/q)x是第二个平稳测度.
证明：为了验证
μ
(
x
)
=
(
p
/
q
)
x
\mu(x)=(p / q)^{x}
μ(x)=(p/q)x是一个平稳测度, 由于
∑
x
μ
(
x
)
p
(
x
,
y
)
=
μ
(
y
+
1
)
p
(
y
+
1
,
y
)
+
μ
(
y
−
1
)
p
(
y
−
1
,
y
)
=
(
p
/
q
)
y
+
1
q
+
(
p
/
q
)
y
−
1
p
=
(
p
/
q
)
y
[
p
+
q
]
=
(
p
/
q
)
y
\begin{aligned} \sum_{x} \mu(x) p(x, y) &=\mu(y+1) p(y+1, y)+\mu(y-1) p(y-1, y) \\ &=(p / q)^{y+1} q+(p / q)^{y-1} p=(p / q)^{y}[p+q]=(p / q)^{y} \end{aligned}
x∑μ(x)p(x,y)=μ(y+1)p(y+1,y)+μ(y−1)p(y−1,y)=(p/q)y+1q+(p/q)y−1p=(p/q)y[p+q]=(p/q)y
习题5.5.1. 扩散Bernoulli-Laplace模型(习题5.1.5)的平稳分布.
证明：由于
P
j
j
=
2
j
(
m
−
j
)
m
2
P_{j j}= \frac{2j(m-j)}{m^{2}}
Pjj=m22j(m−j),
P
j
,
j
+
1
=
(
m
−
j
m
)
2
P_{j, j+1}=\left(\frac{m-j}{m}\right)^{2}
Pj,j+1=(mm−j)2,
P
j
,
j
−
1
=
(
j
m
)
2
P_{j, j-1}=\left(\frac{j}{m}\right)^{2}
Pj,j−1=(mj)2, 若
m
≠
j
−
1
,
j
,
j
+
1
m \neq j-1, j, j+1
m=j−1,j,j+1,
P
j
,
m
=
0
P_{j, m}=0
Pj,m=0. 由平稳分布满足
π
j
=
∑
i
π
i
P
i
j
\pi_{j}=\sum_{i} \pi_{i} P_{i j}
πj=∑iπiPij, 可得
π
j
=
π
j
−
1
(
m
−
j
+
1
m
)
2
+
π
j
2
j
(
m
−
j
)
m
2
+
π
j
+
1
(
j
+
1
m
)
2
\pi_{j}=\pi_{j-1}\left(\frac{m-j+1}{m}\right)^{2}+\pi_{j} \frac{2 j(m-j)}{m^{2}}+\pi_{j+1}\left(\frac{j+1}{m}\right)^{2}
πj=πj−1(mm−j+1)2+πjm22j(m−j)+πj+1(mj+1)2
由于
π
1
=
m
2
π
0
\pi_{1}=m^{2} \pi_{0}
π1=m2π0, 可以写作
π
1
=
(
m
1
)
2
π
0
\pi_{1}=\left(\begin{array}{l}m \\ 1\end{array}\right)^{2} \pi_{0}
π1=(m1)2π0, 用归纳法可证
π
j
+
1
=
(
m
j
+
1
)
2
[
π
j
−
π
j
−
1
(
m
−
j
+
1
m
)
2
−
π
j
2
j
(
m
−
j
)
m
2
]
=
(
m
j
+
1
)
2
[
(
m
j
)
2
−
(
m
j
−
1
)
2
(
m
−
j
+
1
m
)
2
−
(
m
j
)
2
2
j
(
m
−
j
)
m
2
]
π
0
=
(
m
j
+
1
)
2
[
(
m
j
)
2
−
1
m
2
(
m
!
(
m
−
j
)
!
(
j
−
1
)
!
)
2
−
(
m
j
)
2
2
j
(
m
−
j
)
m
2
]
π
0
=
(
m
j
+
1
)
2
(
m
j
)
2
[
1
−
j
2
m
2
−
2
j
(
m
−
j
)
m
2
]
π
0
=
(
m
!
(
m
−
j
)
!
(
j
+
1
)
!
)
2
(
m
−
j
)
2
π
0
⟹
(
m
j
+
1
)
2
π
0
\begin{aligned} \pi_{j+1}=&\left(\frac{m}{j+1}\right)^{2}\left[\pi_{j}-\pi_{j-1}\left(\frac{m-j+1}{m}\right)^{2}-\pi_{j} \frac{2 j(m-j)}{m^{2}}\right] \\ =&\left(\frac{m}{j+1}\right)^{2}\left[\left(\begin{array}{c} m \\ j \end{array}\right)^{2}-\left(\begin{array}{c} m \\ j-1 \end{array}\right)^{2}\left(\frac{m-j+1}{m}\right)^{2}-\left(\begin{array}{c} m \\ j \end{array}\right)^{2} \frac{2 j(m-j)}{m^{2}}\right] \pi_{0} \\ =&\left(\frac{m}{j+1}\right)^{2}\left[\left(\begin{array}{c} m \\ j \end{array}\right)^{2}-\frac{1}{m^{2}}\left(\frac{m !}{(m-j) !(j-1) !}\right)^{2}-\left(\begin{array}{c} m \\ j \end{array}\right)^{2} \frac{2 j(m-j)}{m^{2}}\right] \pi_{0} \\ =&\left(\frac{m}{j+1}\right)^{2}\left(\begin{array}{c} m \\ j \end{array}\right)^{2}\left[1-\frac{j^{2}}{m^{2}}-\frac{2 j(m-j)}{m^{2}}\right] \pi_{0} \\ =& \left(\frac{m !}{(m-j) !(j+1) !}\right)^{2}(m-j)^2 \pi_{0}\Longrightarrow \left(\begin{array}{c} m \\ j+1 \end{array}\right)^2\pi_{0} \end{aligned}
πj+1=====(j+1m)2[πj−πj−1(mm−j+1)2−πjm22j(m−j)](j+1m)2[(mj)2−(mj−1)2(mm−j+1)2−(mj)2m22j(m−j)]π0(j+1m)2[(mj)2−m21((m−j)!(j−1)!m!)2−(mj)2m22j(m−j)]π0(j+1m)2(mj)2[1−m2j2−m22j(m−j)]π0((m−j)!(j+1)!m!)2(m−j)2π0⟹(mj+1)2π0
由于
∑
j
π
j
=
1
\sum_{j} \pi_{j}=1
∑jπj=1, 可得
π
0
=
[
∑
j
=
0
m
(
m
j
)
2
]
−
1
=
(
2
m
m
)
\pi_{0}=\left[\sum_{j=0}^{m}\left(\begin{array}{l} m \\ j \end{array}\right)^{2}\right]^{-1}=\left(\begin{array}{c} 2 m \\ m \end{array}\right)
π0=[j=0∑m(mj)2]−1=(2mm)
因此, 存在平稳分布
π
j
=
(
m
j
)
(
2
m
m
)
−
1
\pi_{j}=\left(\begin{array}{c}m \\ j\end{array}\right)\left(\begin{array}{c}2 m \\ m\end{array}\right)^{-1}
πj=(mj)(2mm)−1.
注释：如果马氏链在一次跳转中, 从
x
x
x移动到
y
y
y的量与从
y
y
y移动到
x
x
x的量完全相同, 称
μ
\mu
μ满足细致平衡条件, 即
μ
(
x
)
p
(
x
,
y
)
=
μ
(
y
)
p
(
y
,
x
)
(
∗
)
\mu(x) p(x, y)=\mu(y) p(y, x)\quad (*)
μ(x)p(x,y)=μ(y)p(y,x)(∗)
1.2. 可逆测度
满足(*)的测度 μ \mu μ被称为可逆测度(reversible measure). 可逆测度必定是平稳测度, 因为 ∑ x μ ( x ) p ( x , y ) = μ ( y ) \sum_{x} \mu(x) p(x, y)=\mu(y) ∑xμ(x)p(x,y)=μ(y). 定理5.5.5解释"可逆"名称的来源, 即初始分布是可逆测度的马氏链, 其逆向马氏链的转移概率和该马氏链的转移概率相同.
示例 5.5.3 (Ehrenfest链的平稳测度) . S = { 0 , 1 , … , r } S=\{0,1, \ldots, r\} S={0,1,…,r}.
p ( k , k + 1 ) = ( r − k ) / r p ( k , k − 1 ) = k / r p(k, k+1)=(r-k) / r \quad p(k, k-1)=k / r p(k,k+1)=(r−k)/rp(k,k−1)=k/r
此时, μ ( x ) = 2 − r ( r x ) \mu(x)=2^{-r}\left(\begin{array}{l}r \\ x\end{array}\right) μ(x)=2−r(rx)是一个平稳测度.
证明：通过观察
μ
\mu
μ对应于翻转r个硬币，以确定每个球要放在哪个瓮中，而链的转换对应于随机挑选一枚硬币并将它翻过来.
μ
(
k
+
1
)
p
(
k
+
1
,
k
)
=
2
−
r
r
!
(
k
+
1
)
!
(
r
−
k
−
1
)
!
⋅
k
+
1
r
=
(
r
−
1
)
!
k
!
(
r
−
k
−
1
)
!
=
2
−
r
r
!
k
!
(
r
−
k
)
!
⋅
r
−
k
r
=
μ
(
k
−
1
)
p
(
k
−
1
,
k
)
=
μ
(
k
)
\begin{aligned} \mu(k+1) p(k+1, k) &=2^{-r} \frac{r !}{(k+1) !(r-k-1) !} \cdot \frac{k+1}{r}=\frac{(r-1) !}{k !(r-k-1) !} \\ &=2^{-r} \frac{r !}{k !(r-k) !} \cdot \frac{r-k}{r}=\mu(k-1) p(k-1, k)=\mu(k) \end{aligned}
μ(k+1)p(k+1,k)=2−r(k+1)!(r−k−1)!r!⋅rk+1=k!(r−k−1)!(r−1)!=2−rk!(r−k)!r!⋅rr−k=μ(k−1)p(k−1,k)=μ(k)
示例 5.5.4 (生死链的可逆测度) . S = { 0 , 1 , 2 , … } S=\{0,1,2, \ldots\} S={0,1,2,…}
p ( x , x + 1 ) = p x p ( x , x ) = r x p ( x , x − 1 ) = q x p(x, x+1)=p_{x} \quad p(x, x)=r_{x} \quad p(x, x-1)=q_{x} p(x,x+1)=pxp(x,x)=rxp(x,x−1)=qx
其中 q 0 = 0 q_{0}=0 q0=0, p ( i , j ) = 0 p(i, j)=0 p(i,j)=0. 存在测度
μ ( x ) = ∏ k = 1 x ( p k − 1 / q k ) \mu(x)=\prod_{k=1}^{x} ({p_{k-1}}/{q_{k}}) μ(x)=∏k=1x(pk−1/qk)
满足细致平衡条件:
μ ( x ) p ( x , x + 1 ) = p x ∏ k = 1 x p k − 1 q k = μ ( x + 1 ) p ( x + 1 , x ) \mu(x) p(x, x+1)=p_{x} \prod_{k=1}^{x} \frac{p_{k-1}}{q_{k}}=\mu(x+1) p(x+1, x) μ(x)p(x,x+1)=pxk=1∏xqkpk−1=μ(x+1)p(x+1,x)
定理5.5.5 (逆向马氏链的转移概率: 初始测度为平稳测度,可逆测度) 令 μ \mu μ是一个平稳测度, 假设初始随机变量 X 0 X_{0} X0的 "分布"为 μ \mu μ. 则\
(i) Y m = X n − m , 0 ≤ m ≤ n Y_{m}=X_{n-m}, 0 \leq m \leq n Ym=Xn−m,0≤m≤n 是一个有初始测度为 μ \mu μ, 转移概率为 q ( x , y ) = μ ( y ) p ( y , x ) / μ ( x ) q(x, y)=\mu(y) p(y, x) / \mu(x) q(x,y)=μ(y)p(y,x)/μ(x)的马氏链. q q q被称为对偶(dual)转移概率.\
(ii) 如果 μ \mu μ是一个可逆测度, 则 q = p q=p q=p.
注释：
1. 初始分布平稳的马氏链, 其对偶马氏链的转移概率.\
2. 初始分布可逆的马氏链, 其对偶马氏链的转移概率和本身的转移概率相同.
P ( Y m + 1 = y ∣ Y m = x ) = P ( X n − m − 1 = y ∣ X n − m = x ) = P ( X n − m − 1 = y , X n − m = x ) P ( X n − m = x ) = P ( X n − m = x ∣ X n − m − 1 = y ) P ( X n − m − 1 = y ) P ( X n − m = x ) = μ ( y ) p ( y , x ) μ ( x ) \begin{aligned} P\left(Y_{m+1}=y \mid Y_{m}=x\right) &=P\left(X_{n-m-1}=y \mid X_{n-m}=x\right) \\ &=\frac{P\left(X_{n-m-1}=y, X_{n-m}=x\right)}{P\left(X_{n-m}=x\right)} \\ &=\frac{P\left(X_{n-m}=x \mid X_{n-m-1}=y\right) P\left(X_{n-m-1}=y\right)}{P\left(X_{n-m}=x\right)}\\ &=\frac{\mu(y) p(y, x)}{\mu(x)} \end{aligned} P(Ym+1=y∣Ym=x)=P(Xn−m−1=y∣Xn−m=x)=P(Xn−m=x)P(Xn−m−1=y,Xn−m=x)=P(Xn−m=x)P(Xn−m=x∣Xn−m−1=y)P(Xn−m−1=y)=μ(x)μ(y)p(y,x)
48
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
