随机过程 Markov 链(中)
极限定理及平稳分布
极限定理
Th:(基本极限定理)若状态
i
i
i 是周期为
d
d
d 的常返状态,则:
lim
n
→
∞
p
i
i
(
n
d
)
=
d
μ
i
\lim\limits_{n\to\infty}p_{ii}^{(nd)}=\frac{d}{\mu_i}
n→∞limpii(nd)=μid
当
i
i
i 为零常返状态,即
μ
i
=
∞
\mu_i=\infty
μi=∞ 时,
d
μ
i
=
0
\frac{d}{\mu_i}=0
μid=0 ;显然,当
i
i
i 为非常返状态时,
∑
n
=
1
∞
p
i
i
(
n
)
<
∞
\sum\limits_{n=1}^{\infty}p_{ii}^{(n)}\lt \infty
n=1∑∞pii(n)<∞ ,则
lim
n
→
∞
p
i
i
(
n
)
=
0
\lim\limits_{n\to\infty}p_{ii}^{(n)}=0
n→∞limpii(n)=0 。
没有证明捏 ~( ̄▽ ̄)~*
Th:设
i
i
i 为常返状态,则:
i
为零常返状态
⟺
lim
n
→
∞
p
i
i
(
n
)
=
0
i\text{为零常返状态}\iff \lim\limits_{n\to\infty}p_{ii}^{(n)}=0
i为零常返状态⟺n→∞limpii(n)=0
证明:
-
若 i i i 为零常返状态,则 μ i = ∞ \mu_i=\infty μi=∞ ,由上边的定理得 lim n → ∞ p i i ( n d ) = d μ i = 0 \lim\limits_{n\to\infty}p_{ii}^{(nd)}=\frac{d}{\mu_i}=0 n→∞limpii(nd)=μid=0 ,并且当 m m m 不为 d d d 的整数倍时,由周期的定义有 p i i ( m ) = 0 p_{ii}^{(m)}=0 pii(m)=0 ,因此综合两点得到 lim n → ∞ p i i ( n ) = 0 \lim\limits_{n\to\infty}p_{ii}^{(n)}=0 n→∞limpii(n)=0 ;
-
若 lim n → ∞ p i i ( n ) = 0 \lim\limits_{n\to\infty}p_{ii}^{(n)}=0 n→∞limpii(n)=0 ,反证法:设 i i i 为正常返状态,则 μ i < ∞ \mu_i\lt \infty μi<∞ ,故 lim n → ∞ p i i ( n d ) = d μ i > 0 \lim\limits_{n\to\infty}p_{ii}^{(nd)}=\frac{d}{\mu_i}\gt 0 n→∞limpii(nd)=μid>0 ,矛盾。
Th:设 i ↔ j i\leftrightarrow j i↔j 且为常返状态(上一节的定理,常返状态是个类性质),当 i i i 为零常返状态时, j j j 也为零常返状态(即零常返也是类性质)
证明:有:
p
i
i
(
m
+
n
+
l
)
≥
p
i
j
(
n
)
p
j
j
(
l
)
p
j
i
(
m
)
≥
0
p_{ii}^{(m+n+l)}\geq p_{ij}^{(n)}p_{jj}^{(l)}p_{ji}^{(m)}\geq 0
pii(m+n+l)≥pij(n)pjj(l)pji(m)≥0
令
l
→
∞
l\to\infty
l→∞ ,则由上面的定理知,因为
i
i
i 是零常返状态,所以
lim
l
→
∞
p
i
i
(
m
+
n
+
l
)
=
0
\lim\limits_{l\to\infty}p_{ii}^{(m+n+l)}=0
l→∞limpii(m+n+l)=0 ,因此:
0
≥
p
j
j
(
l
)
≥
0
0\geq p_{jj}^{(l)} \geq 0
0≥pjj(l)≥0
即
lim
l
→
∞
p
j
j
(
l
)
=
0
\lim\limits_{l\to\infty}p_{jj}^{(l)}=0
l→∞limpjj(l)=0 ,因此
j
j
j 也是零常返状态,得证。
Th:接下来我们讨论 p i j ( n ) p_{ij}^{(n)} pij(n) 的极限性质:
- 若 j j j 为非常返状态或零常返状态,则对 ∀ i ∈ S \forall i \in S ∀i∈S ,有:
lim n → ∞ p i j ( n ) = 0 \lim\limits_{n\to\infty}p_{ij}^{(n)}=0 n→∞limpij(n)=0
- 若 Markov 链为不可约、正常返,且非周期,则对于 ∀ i , j ∈ S \forall i,\,j\,\in S ∀i,j∈S ,有:
lim n → ∞ p i j ( n ) = 1 μ j \lim\limits_{n\to\infty}p_{ij}^{(n)}=\frac{1}{\mu_j} n→∞limpij(n)=μj1
证明:(1)由前边转移概率和首达概率的关系有:
p
i
j
(
n
)
=
∑
l
=
1
n
f
i
j
(
l
)
p
j
j
(
n
−
l
)
p_{ij}^{(n)}=\sum\limits_{l=1}^n f_{ij}^{(l)}p_{jj}^{(n-l)}
pij(n)=l=1∑nfij(l)pjj(n−l) ,对
N
<
n
N\lt n
N<n ,有:(因为总有
p
j
j
n
≤
1
p_{jj}^{n}\leq 1
pjjn≤1 )
∑
l
=
1
n
f
i
j
(
l
)
p
j
j
(
n
−
l
)
≤
∑
l
=
1
N
f
i
j
(
l
)
p
j
j
(
n
−
l
)
+
∑
l
=
N
+
1
n
f
i
j
(
l
)
\sum\limits_{l=1}^n f_{ij}^{(l)}p_{jj}^{(n-l)} \leq \sum\limits_{l=1}^N f_{ij}^{(l)}p_{jj}^{(n-l)}+\sum\limits_{l=N+1}^{n}f_{ij}^{(l)}
l=1∑nfij(l)pjj(n−l)≤l=1∑Nfij(l)pjj(n−l)+l=N+1∑nfij(l)
首先固定
N
N
N ,令
n
→
∞
n\to\infty
n→∞ :
- 若 j j j 为非常返状态,由于 lim n → ∞ ∑ i = 1 n p j j ( i ) < ∞ \lim\limits_{n\to\infty}\sum\limits_{i=1}^{n}p_{jj}^{(i)}\lt \infty n→∞limi=1∑npjj(i)<∞ ,因此 lim n → ∞ p j j ( n ) = 0 \lim\limits_{n\to\infty}p_{jj}^{(n)}=0 n→∞limpjj(n)=0 ,故 lim n → ∞ ∑ l = 1 N f i j ( l ) p j j ( n − l ) = 0 \lim\limits_{n\to\infty}\sum\limits_{l=1}^N f_{ij}^{(l)}p_{jj}^{(n-l)}=0 n→∞liml=1∑Nfij(l)pjj(n−l)=0 ;
- 若 j j j 为零常返状态,由上面的定理可知, lim n → ∞ p j j ( n ) = 0 \lim\limits_{n\to\infty}p_{jj}^{(n)}=0 n→∞limpjj(n)=0 ,故 lim n → ∞ ∑ l = 1 N f i j ( l ) p j j ( n − l ) = 0 \lim\limits_{n\to\infty}\sum\limits_{l=1}^N f_{ij}^{(l)}p_{jj}^{(n-l)}=0 n→∞liml=1∑Nfij(l)pjj(n−l)=0 ;
所以得到:
p
i
j
(
n
)
=
∑
l
=
1
n
f
i
j
(
l
)
p
j
j
(
n
−
l
)
≤
∑
l
=
N
+
1
n
f
i
j
(
l
)
p_{ij}^{(n)}=\sum\limits_{l=1}^n f_{ij}^{(l)}p_{jj}^{(n-l)} \leq \sum\limits_{l=N+1}^{n}f_{ij}^{(l)}
pij(n)=l=1∑nfij(l)pjj(n−l)≤l=N+1∑nfij(l)
由于
∑
l
=
1
∞
f
i
j
(
l
)
≤
1
<
∞
\sum\limits_{l=1}^{\infty}f_{ij}^{(l)}\leq 1\lt \infty
l=1∑∞fij(l)≤1<∞ ,所以
lim
l
→
∞
f
i
j
(
l
)
=
0
\lim\limits_{l\to\infty}f_{ij}^{(l)}=0
l→∞limfij(l)=0 ,因此再令
N
→
∞
N\to\infty
N→∞ ,则
∑
l
=
N
+
1
n
f
i
j
(
l
)
→
0
\sum\limits_{l=N+1}^{n}f_{ij}^{(l)}\to 0
l=N+1∑nfij(l)→0 ,故:
lim
n
→
∞
p
i
j
(
n
)
≤
0
⇒
lim
n
→
∞
p
i
j
(
n
)
=
0
\lim\limits_{n\to\infty}p_{ij}^{(n)}\leq 0 \Rightarrow \lim\limits_{n\to\infty}p_{ij}^{(n)}=0
n→∞limpij(n)≤0⇒n→∞limpij(n)=0
(2)利用(1)中的式子可以得到:
∑
l
=
1
N
f
i
j
(
l
)
p
j
j
(
n
−
l
)
≤
p
i
j
(
n
)
≤
∑
l
=
1
N
f
i
j
(
l
)
p
j
j
(
n
−
l
)
+
∑
l
=
N
+
1
n
f
i
j
(
l
)
\sum\limits_{l=1}^N f_{ij}^{(l)}p_{jj}^{(n-l)} \leq p_{ij}^{(n)} \leq \sum\limits_{l=1}^N f_{ij}^{(l)}p_{jj}^{(n-l)} + \sum\limits_{l=N+1}^n f_{ij}^{(l)}
l=1∑Nfij(l)pjj(n−l)≤pij(n)≤l=1∑Nfij(l)pjj(n−l)+l=N+1∑nfij(l)
先固定
N
N
N ,令
n
→
∞
n\to\infty
n→∞ ,由于
j
j
j 是正常返、周期为
1
1
1 的状态,由这一节的第一个定理可以得到:
lim
n
→
∞
p
j
j
n
=
1
μ
j
\lim\limits_{n\to\infty}p_{jj}^{n}=\frac{1}{\mu_j}
n→∞limpjjn=μj1 ,即:
1
μ
j
∑
l
=
1
N
f
i
j
(
l
)
≤
p
i
j
(
n
)
≤
1
μ
j
∑
l
=
1
N
f
i
j
(
l
)
+
∑
l
=
N
+
1
n
f
i
j
(
l
)
\frac{1}{\mu_j}\sum\limits_{l=1}^N f_{ij}^{(l)} \leq p_{ij}^{(n)} \leq \frac{1}{\mu_j}\sum\limits_{l=1}^N f_{ij}^{(l)} + \sum\limits_{l=N+1}^n f_{ij}^{(l)}
μj1l=1∑Nfij(l)≤pij(n)≤μj1l=1∑Nfij(l)+l=N+1∑nfij(l)
又令
N
→
∞
N\to\infty
N→∞ ,由于这个 Markov 链是不可约的,因此
i
↔
j
i\leftrightarrow j
i↔j ,故
f
i
j
=
1
f_{ij}=1
fij=1 ,且由(1)中证明可以得到
∑
l
=
N
+
1
n
f
i
j
(
l
)
→
0
\sum\limits_{l=N+1}^{n}f_{ij}^{(l)}\to 0
l=N+1∑nfij(l)→0 ,故:
1
μ
j
≤
lim
n
→
∞
p
i
j
(
n
)
≤
1
μ
j
⇒
lim
n
→
∞
p
i
j
(
n
)
=
1
μ
j
\frac{1}{\mu_j}\leq \lim\limits_{n\to\infty}p_{ij}^{(n)}\leq \frac{1}{\mu_j} \Rightarrow \lim\limits_{n\to\infty}p_{ij}^{(n)}= \frac{1}{\mu_j}
μj1≤n→∞limpij(n)≤μj1⇒n→∞limpij(n)=μj1
Th:状态有限的 Markov 链,不可能全为非常返状态,也不可能有零常返状态;从而不可约的有限 Markov 链是正常返的。
证明:(1)反证法,若状态空间为 S = { 1 , 2 , ⋯ , N } S=\{1,\,2,\,\cdots,\,N\} S={1,2,⋯,N} 的 Markov 链全为非常返状态,则:
- 若 i → j i\to j i→j ,由前面定理的(2)得到, p i j ( n ) → 1 μ j = 0 p_{ij}^{(n)}\to\frac{1}{\mu_j}=0 pij(n)→μj1=0 ( n → ∞ n\to\infty n→∞);
- 若 i ↛ j i\not\to j i→j ,则显然 p i j ( n ) = 0 p_{ij}^{(n)}=0 pij(n)=0 ;
即对任意 i i i ,当 n → ∞ n\to\infty n→∞ 时都有 ∑ j = 1 N p i j ( n ) = 0 \sum\limits_{j=1}^{N} p_{ij}^{(n)}=0 j=1∑Npij(n)=0 ;但是显然只有这 N N N 个状态,因此 ∑ j = 1 N p i j ( n ) = 1 \sum\limits_{j=1}^N p_{ij}^{(n)}=1 j=1∑Npij(n)=1 ,矛盾,因此不可能全为非常返状态;
(2)若 S S S 中有零常返状态,设为 i i i ,令 C = { j ∣ i → j } C=\{j\,|\,i\to j\} C={j∣i→j} ,有 ∑ j ∈ C p i j ( n ) = 1 \sum\limits_{j\in C}p_{ij}^{(n)}=1 j∈C∑pij(n)=1 ;由 i i i 为常返状态得,由于 i i i 是常返状态,所以 f i i = 1 f_{ii}=1 fii=1 ,又因为 C C C 中状态有限,所以这个概率为 1 代表必然事件,即从 i i i 出发,在有限步内必然可以回到 i i i 。因此对于 ∀ j ∈ C \forall j\in C ∀j∈C ,都有 j → i j\to i j→i 。故 i ↔ j i\leftrightarrow j i↔j ,又因为零常返是类性质,因此 j j j 也是零常返状态,则由前面一个定理的(1)得到 lim n → ∞ p i j ( n ) = 0 \lim\limits_{n\to\infty}p_{ij}^{(n)}=0 n→∞limpij(n)=0 。故当 n → ∞ n\to\infty n→∞ 时,有 ∑ j ∈ C p i j ( n ) = 0 \sum\limits_{j\in C}p_{ij}^{(n)}=0 j∈C∑pij(n)=0 ,与 ∑ j ∈ C p i j ( n ) = 1 \sum\limits_{j\in C}p_{ij}^{(n)}=1 j∈C∑pij(n)=1 矛盾。因此 S S S 中不存在零常返状态。
Th:若 Markov 链有一个零常返状态,则必有无限多个零常返状态。
证明:这是一个推论,和前面一个定理一样,如果只有有限多个零常返状态,则可以推出 ∑ j ∈ C p i j ( n ) = 0 \sum\limits_{j\in C}p_{ij}^{(n)}=0 j∈C∑pij(n)=0 与 ∑ j ∈ C p i j ( n ) = 1 \sum\limits_{j\in C}p_{ij}^{(n)}=1 j∈C∑pij(n)=1 矛盾
例:设 Markov 链的转移矩阵为:
P
=
[
1
−
p
p
q
1
−
q
]
0
<
p
,
q
<
1
P=\begin{bmatrix} 1-p & p \\ q & 1-q \end{bmatrix} \quad 0\lt p,\,q \lt 1
P=[1−pqp1−q]0<p,q<1
解:对于极限转移概率,需要考虑
P
n
P^n
Pn(
n
→
∞
n\to\infty
n→∞),对
P
P
P 进行特征值分解,得到:
P
=
Q
D
Q
−
1
D
=
[
1
0
0
1
−
p
−
q
]
Q
=
[
1
−
p
1
q
]
Q
−
1
=
[
q
p
+
q
p
p
+
q
−
1
p
+
q
1
p
+
q
]
P=QDQ^{-1} \quad D=\begin{bmatrix} 1 & 0 \\ 0 & 1-p-q \end{bmatrix} \quad Q=\begin{bmatrix} 1 & -p \\ 1 & q \end{bmatrix} \quad Q^{-1}=\begin{bmatrix} \frac{q}{p+q} & \frac{p}{p+q} \\ -\frac{1}{p+q} & \frac{1}{p+q} \end{bmatrix}
P=QDQ−1D=[1001−p−q]Q=[11−pq]Q−1=[p+qq−p+q1p+qpp+q1]
则:
P
n
=
Q
D
Q
−
1
Q
D
Q
−
1
⋯
Q
D
Q
−
1
=
Q
D
n
Q
−
1
=
[
q
+
p
(
1
−
p
−
q
)
n
p
+
q
p
−
p
(
1
−
p
−
q
)
n
p
+
q
q
−
q
(
1
−
p
−
q
)
n
p
+
q
p
+
q
(
1
−
p
−
q
)
n
p
+
q
]
P^n=QDQ^{-1}QDQ^{-1}\cdots QDQ^{-1}=QD^{n}Q^{-1}= \begin{bmatrix} \frac{q+p(1-p-q)^n}{p+q} & \frac{p-p(1-p-q)^n}{p+q} \\ \frac{q-q(1-p-q)^n}{p+q} & \frac{p+q(1-p-q)^n}{p+q} \end{bmatrix}
Pn=QDQ−1QDQ−1⋯QDQ−1=QDnQ−1=[p+qq+p(1−p−q)np+qq−q(1−p−q)np+qp−p(1−p−q)np+qp+q(1−p−q)n]
故:
lim
n
→
∞
P
n
=
[
q
p
+
q
p
p
+
q
q
p
+
q
p
p
+
q
]
\lim\limits_{n\to\infty}P^{n}=\begin{bmatrix} \frac{q}{p+q} & \frac{p}{p+q} \\ \frac{q}{p+q} & \frac{p}{p+q} \end{bmatrix}
n→∞limPn=[p+qqp+qqp+qpp+qp]
可见此 Markov 链的
n
n
n 步转移概率的极限存在。
例:设 Markov 的状态空间
S
=
{
1
,
2
,
3
,
4
,
5
}
S=\{1,\,2,\,3,\,4,\,5\}
S={1,2,3,4,5} ,转移矩阵为:
P
=
[
1
0
0
0
0
0
1
0
0
0
1
2
0
0
1
2
0
0
0
1
2
0
1
2
0
1
2
0
1
2
0
]
P=\begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ \frac{1}{2} & 0 & 0 & \frac{1}{2} & 0 \\ 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & \frac{1}{2} & 0 & \frac{1}{2} & 0 \\ \end{bmatrix}
P=
1021000100210002100021021000210
试确定常返状态、瞬过状态(即非常返状态),并对常返状态
i
i
i 确定其平均回转时间
μ
i
\mu_i
μi ;
解:画出状态转移图:
显然状态 1、2 的周期为 1,3、4、5 的周期为 2;用分块矩阵计算,可以得到:
$$
\lim\limits_{n\to\infty}P^n=\begin{bmatrix}
1 & 0 & 0 & 0 & 0 \
0 & 1 & 0 & 0 & 0 \
- & * & 0 & 0 & 0 \
- & * & 0 & 0 & 0 \
- & * & 0 & 0 & 0 \
\end{bmatrix}
$$
从而 1 1 1 和 2 2 2 为正常返状态,3、4、5 为非常返状态。 由这节开头的极限定理可知 lim n → ∞ p i i ( n d ) = d μ i \lim\limits_{n\to\infty}p_{ii}^{(nd)}=\frac{d}{\mu_i} n→∞limpii(nd)=μid ,因此 μ 1 = μ 2 = 1 \mu_1=\mu_2=1 μ1=μ2=1 (由定义也可以知道,状态 1 或 2 平均一步就可以返回原来的状态)。此 Markov 链可以分为三类: { 1 } \{1\} {1} { 2 } \{2\} {2} { 3 , 4 , 5 } \{3,\,4,\,5\} {3,4,5}
平稳分布与极限分布
平稳分布:对于 Markov 链,概率分布
{
p
j
,
j
∈
S
}
\{p_j,\,j\in S\}
{pj,j∈S} 称为平稳分布,若:
p
j
=
∑
i
∈
S
p
i
p
i
j
p_j=\sum\limits_{i\in S} p_ip_{ij}
pj=i∈S∑pipij
若 Markov 的初始分布
P
(
X
0
=
j
)
=
p
j
j
∈
S
P(X_0=j)=p_j\quad j\in S
P(X0=j)=pjj∈S 是平稳分布,则:
p
(
X
1
=
j
)
=
∑
i
∈
S
P
(
X
1
=
j
∣
X
0
=
i
)
⋅
P
(
X
0
=
i
)
=
∑
i
∈
S
p
i
j
p
i
=
p
j
\begin{align} p(X_1=j)=&\,\sum\limits_{i\in S}P(X_1=j|X_0=i)\cdot P(X_0=i) \\ =&\,\sum\limits_{i\in S}p_{ij}p_{i} \\ =&\,p_j \end{align}
p(X1=j)===i∈S∑P(X1=j∣X0=i)⋅P(X0=i)i∈S∑pijpipj
得到任意
X
i
X_i
Xi 都有着相同的分布,这就是为什么称为平稳分布。
遍历:如果所有状态相通(即不可约)且均是周期为 1 1 1 (即非周期)的正常返状态,则称 Markov 链是遍历的;
- 遍历的 Markov 链:不可约、正常返、非周期
极限分布:对于遍历的 Markov 链,极限:
lim
n
→
∞
p
i
j
(
n
)
=
π
j
\lim\limits_{n\to\infty}p_{ij}^{(n)}=\pi_{j}
n→∞limpij(n)=πj
称为 Markov 的极限分布;由上一节的极限定理可知,
π
j
=
1
μ
j
\pi_j=\frac{1}{\mu_j}
πj=μj1 ;
下面的定理说明对于遍历的 Markov 链,极限分布就是平稳分布,并且是唯一的平稳分布。
Th:对于不可约非周期的 Markov 链:
- 若它是遍历的,则 KaTeX parse error: Expected group after '_' at position 11: \pi_j=\lim_̲\limits{n\to\in… ( j ∈ S j\in S j∈S) 是平稳分布,并且是唯一的平稳分布;
- 若状态都是瞬过的或全为零常返的(肯定是无穷多个状态),则平稳分布不存在;
证明:
(1)对于遍历的 Markov 链,由上一节的极限定理可知,
π
j
=
1
μ
j
\pi_j=\frac{1}{\mu_j}
πj=μj1 是存在的,首先证明
{
π
j
,
j
∈
S
}
\{\pi_j,\,j\in S\}
{πj,j∈S} 是平稳分布。由于
∑
j
∈
S
p
i
j
(
n
)
=
1
\sum\limits_{j\in S}p_{ij}^{(n)}=1
j∈S∑pij(n)=1 ,有:
lim
n
→
∞
∑
j
∈
S
p
i
j
(
n
)
=
1
\lim\limits_{n\to\infty}\sum\limits_{j\in S}p_{ij}^{(n)}=1
n→∞limj∈S∑pij(n)=1
显然式中的极限和求和可以交换顺序,得到:
∑
j
∈
S
π
j
=
1
\sum\limits_{j\in S}\pi_j=1
j∈S∑πj=1
由 C-K 方程得到:
p
i
j
(
n
+
1
)
=
∑
k
∈
S
p
i
k
(
n
)
p
k
j
p_{ij}^{(n+1)}=\sum\limits_{k\in S}p_{ik}^{(n)}p_{kj}
pij(n+1)=k∈S∑pik(n)pkj
两边对
n
n
n 取极限得到:
π
j
=
lim
n
→
∞
p
i
j
(
n
+
1
)
=
lim
n
→
∞
∑
k
∈
S
p
i
k
(
n
)
p
k
j
=
∑
k
∈
S
lim
n
→
∞
(
p
i
k
(
n
)
)
p
k
j
=
∑
k
∈
S
π
k
p
k
j
\pi_j=\lim\limits_{n\to\infty}p_{ij}^{(n+1)} =\lim\limits_{n\to\infty}\sum\limits_{k\in S}p_{ik}^{(n)}p_{kj} =\sum\limits_{k\in S}\lim\limits_{n\to\infty}\left(p_{ik}^{(n)}\right)p_{kj} =\sum\limits_{k\in S}\pi_kp_{kj}
πj=n→∞limpij(n+1)=n→∞limk∈S∑pik(n)pkj=k∈S∑n→∞lim(pik(n))pkj=k∈S∑πkpkj
即
π
j
=
∑
k
∈
S
π
k
p
k
j
\pi_j=\sum\limits_{k\in S}\pi_kp_{kj}
πj=k∈S∑πkpkj ,从而
{
π
j
,
j
∈
S
}
\{\pi_j,\,j\in S\}
{πj,j∈S} 是平稳分布。
再证明
{
π
j
,
j
∈
S
}
\{\pi_j,\,j\in S\}
{πj,j∈S} 是唯一的平稳分布。设还有另一个平稳分布
{
π
~
j
,
j
∈
S
}
\{\tilde\pi_j,\,j\in S\}
{π~j,j∈S} ,则由
π
~
j
=
∑
k
∈
S
π
~
k
p
k
j
\tilde\pi_j=\sum\limits_{k\in S}\tilde\pi_kp_{kj}
π~j=k∈S∑π~kpkj 归纳得到:
π
~
j
=
∑
k
∈
S
π
~
k
p
k
j
(
n
)
,
n
=
1
,
2
,
⋯
\tilde\pi_j=\sum\limits_{k\in S}\tilde\pi_kp_{kj}^{(n)},\,n=1,\,2,\,\cdots
π~j=k∈S∑π~kpkj(n),n=1,2,⋯
两边对
n
n
n 取极限得到:
π
~
j
=
∑
k
∈
S
π
~
k
lim
n
→
∞
p
k
j
(
n
)
=
∑
k
∈
S
π
~
k
π
j
\tilde\pi_j=\sum\limits_{k\in S}\tilde\pi_k\lim\limits_{n\to\infty}p_{kj}^{(n)}=\sum\limits_{k\in S}\tilde\pi_k\pi_j
π~j=k∈S∑π~kn→∞limpkj(n)=k∈S∑π~kπj
由上面的证明可知
∑
k
∈
S
π
~
k
=
1
\sum\limits_{k\in S}\tilde \pi_k=1
k∈S∑π~k=1 ,因此
π
~
j
=
π
j
\tilde\pi_j=\pi_j
π~j=πj ,所以得证平稳分布唯一。
(2)反证法:假设存在一个平稳分布
{
π
j
,
j
∈
S
}
\{\pi_j,\,j\in S\}
{πj,j∈S} ,则由(1)中证明得到:
π
j
=
∑
k
∈
S
π
k
p
k
j
(
n
)
,
n
=
1
,
2
,
⋯
\pi_j=\sum\limits_{k\in S}\pi_kp_{kj}^{(n)},\,n=1,\,2,\,\cdots
πj=k∈S∑πkpkj(n),n=1,2,⋯
j
j
j 为非常返或者零常返状态,当
n
→
∞
n\to\infty
n→∞ 时,由上一节的
p
k
j
(
n
)
p_{kj}^{(n)}
pkj(n) 的极限性质得,
lim
n
→
∞
p
k
j
(
n
)
=
0
\lim\limits_{n\to\infty}p_{kj}^{(n)}=0
n→∞limpkj(n)=0 ,因此
π
j
=
0
\pi_j=0
πj=0 (
∀
j
∈
S
\forall j\in S
∀j∈S),但是这个是不可能的,因此对于非常返的或者零常返的 Markov 链,不存在平稳分布。
注意:
- 不可约、非周期的 Markov 链,只要有一个是正常返状态,就全是正常返状态;只要有一个是非常返状态,就全是非常返状态;只要有一个是零常返状态,就全是零常返状态。所有说这个定理的两种情况已经包括了所有的不可约、非周期的 Markov 链;
- π j = 1 μ j \pi_j=\frac{1}{\mu_j} πj=μj1 是一种简便计算状态的平均回转时间的方法;
下面的例子你可以看到,往往是直接解对应的线性方程组来得到平稳分布。
例:设甲袋中有 k k k 个白球和 1 1 1 个黑球,乙袋中有 k + 1 k+1 k+1 个白球,每次从两袋中任取一球,交换后放入对方的袋中。证明经过 n n n 次交换后,黑球仍在甲袋中的概率 p n p_n pn 满足 lim n → ∞ p = 1 2 \lim\limits_{n\to\infty}p=\frac{1}{2} n→∞limp=21 ;
解:以
X
n
X_n
Xn 表示第
n
n
n 次取球后甲袋中的黑球数,则
{
X
n
,
n
=
1
,
2
,
⋯
}
\{X_n,\,n=1,\,2,\,\cdots\}
{Xn,n=1,2,⋯} 是状态空间为
S
=
{
0
,
1
}
S=\{0,\,1\}
S={0,1} 的时齐 Markov 链,一步转移矩阵为:
P
=
[
k
k
+
1
1
k
+
1
1
k
+
1
k
k
+
1
]
P=\begin{bmatrix} \frac{k}{k+1} & \frac{1}{k+1} \\ \frac{1}{k+1} & \frac{k}{k+1} \\ \end{bmatrix}
P=[k+1kk+11k+11k+1k]
它的平稳分布满足:
{
π
0
=
k
k
+
1
π
0
+
1
k
+
1
π
1
π
1
=
1
k
+
1
π
0
+
k
k
+
1
π
1
\left\{ \begin{array}{l} \pi_0=\frac{k}{k+1}\pi_0+\frac{1}{k+1}\pi_1 \\ \pi_1=\frac{1}{k+1}\pi_0+\frac{k}{k+1}\pi_1 \end{array} \right.
{π0=k+1kπ0+k+11π1π1=k+11π0+k+1kπ1
且有规范性条件
π
0
+
π
1
=
1
\pi_0+\pi_1=1
π0+π1=1 ,解得
π
=
(
π
0
,
π
1
)
=
(
1
2
,
1
2
)
\pi=(\pi_0,\,\pi_1)=(\frac{1}{2},\,\frac{1}{2})
π=(π0,π1)=(21,21) ,故经过
n
n
n 次交换过后,黑球仍在甲袋中的概率为:
lim
n
→
∞
p
n
=
lim
n
→
∞
P
(
X
n
=
1
)
=
π
1
=
1
2
\lim\limits_{n\to\infty}p_n=\lim\limits_{n\to\infty}P(X_n=1)=\pi_1=\frac{1}{2}
n→∞limpn=n→∞limP(Xn=1)=π1=21
例:某种商品的销售情况共有连续 24 个季度的数据(其中 1 表示畅销,2 表示滞销):
1
1
2
1
2
2
1
1
1
2
1
2
1
1
2
2
1
1
2
1
2
1
1
1
\begin{array}{} 1 & 1 & 2 & 1 & 2 & 2 & 1 & 1 & 1 & 2 & 1 & 2 & 1 & 1 & 2 & 2 & 1 & 1 & 2 & 1 & 2 & 1 & 1 & 1 \end{array}
112122111212112211212111
如果该商品的销售情况近似满足时齐性于 Markov 性:
(1)试确定销售状态的一步转移概率矩阵;
(2)如果现在是畅销,试预测之后的第四个季度的销售状况;
(3)如果影响销售的所有因素不变,试预测长期的销售状况;
解:以 X n X_n Xn 表示第 n n n 季度该商品的销售状况,则 { X n , n = 1 , 2 , ⋯ } \{X_n,\,n=1,\,2,\,\cdots\} {Xn,n=1,2,⋯} 为状态空间为 S = { 1 , 2 } S=\{1,\,2\} S={1,2} 的时齐 Markov 链。
(1)由
1
→
1
1\to 1
1→1 有
7
7
7 次,
1
→
2
1\to 2
1→2 有
7
7
7 次,故
p
11
=
p
12
=
1
2
p_{11}=p_{12}=\frac{1}{2}
p11=p12=21 ;由
2
→
1
2\to 1
2→1 有
7
7
7 次,
2
→
2
2\to 2
2→2 有
2
2
2 次,故
p
21
=
7
9
p_{21}=\frac{7}{9}
p21=97 ,
p
22
=
2
9
p_{22}=\frac{2}{9}
p22=92 ;一步转移矩阵为:
P
=
[
1
2
1
2
7
9
2
9
]
P=\begin{bmatrix} \frac{1}{2} & \frac{1}{2} \\ \frac{7}{9} & \frac{2}{9} \\ \end{bmatrix}
P=[21972192]
(2)有:
P
(
4
)
=
P
4
=
[
0.611
0.389
0.605
0.395
]
P^{(4)}=P^4=\begin{bmatrix} 0.611 & 0.389 \\ 0.605 & 0.395 \\ \end{bmatrix}
P(4)=P4=[0.6110.6050.3890.395]
如果现在是畅销,则四个季度之后该商品以 0.611 的概率畅销;
(3)由平稳方程
(
π
0
,
π
1
)
=
(
π
0
,
π
1
)
P
(\pi_0,\,\pi_1)=(\pi_0,\,\pi_1)P
(π0,π1)=(π0,π1)P 和规范性条件
π
0
+
π
1
=
1
\pi_0+\pi_1=1
π0+π1=1 得到:
{
π
0
=
1
2
π
0
+
7
9
π
1
π
1
=
1
2
π
0
+
2
9
π
1
π
0
+
π
1
=
1
\left\{ \begin{array}{l} \pi_0=\frac{1}{2}\pi_0+\frac{7}{9}\pi_1 \\ \pi_1=\frac{1}{2}\pi_0+\frac{2}{9}\pi_1 \\ \pi_0+\pi_1=1 \end{array} \right.
⎩
⎨
⎧π0=21π0+97π1π1=21π0+92π1π0+π1=1
解得
π
=
(
π
0
,
π
1
)
=
(
14
23
,
9
23
)
\pi=(\pi_0,\,\pi_1)=(\frac{14}{23},\,\frac{9}{23})
π=(π0,π1)=(2314,239) ,即长期下去,该商品将以
14
23
\frac{14}{23}
2314 的概率畅销。