马尔可夫链的常返态和非常返态-零常返态

最新推荐文章于 2024-05-30 01:31:35 发布

凉冰难消一腔热血

最新推荐文章于 2024-05-30 01:31:35 发布

阅读量3w

点赞数 22

分类专栏：算法文章标签：算法

本文链接：https://blog.csdn.net/weixin_45676049/article/details/108563527

版权

算法专栏收录该内容

11 篇文章 0 订阅

订阅专栏

一非常返状态的定义

二常返性的判别及其性质

三零常返态的例子

一非常返状态的定义

设I={1、2、3、4}，转移概率如图1所示，可以计算出状态2和状态3有相同的周期d=2。但由状态3出发经两步必定返回到3，而状态2则不然，当状态2转移到状态3后，便不可以返回到状态2，因此为了区分着两种状态，引入了常返性概念。

记（1）

$f_{ii}=0$

显然由马氏链性质于齐次性上式右方与m无关。它表示质点由状态i出发，经n步首次到达状态j的概率，也称为首中概率（或首达概率）。记

（2）

它表示指点由状态i出发，经有限步终于到达状态j的概率。

图1 马尔可夫链

上图1中的状态3经有限步可以返回到状态3，因此该状态3称为常返状态；而状态2在有限步中，如果转移到了状态3，则便无法返回到自身的状态，因此状态2成为非常返状态。

定义：如果 $f_{ii}=1$ ，则称状态i为常返的；如果 $f_{ii}<1$ ，则称状态i为非常返的。

因此，若状态 i 为非常返态，则由i出发将以正概率永远不再返回到 i ；若 i 为常返时，不会出现上述情况。对于常返态 i ，由定义知构成一概率分布，此分布的期望值为：

$\mu _{_{i}} = \sum_{n=1}^{\infty}nf_{ii}^{(n)}$ （3）

表示由状态i出发再返回到i的平均返回时间。

二常返性的判别及其性质

该小节中讨论如何用（表示质点从状态i经过n步转移后到达状态j的概率）判别常返状态及其性质。这里先引入母函数。设为实数列，考虑其母函数

（4）

显然，如 $\left \{ {a_{n}}\right \}$ 有界，则A(s)对一切|s|<1收敛。进而，若与的母函数分别为A(s)和B(s)，且对一切|s|<1收敛，则 $\left \{ {a_{n}}\right \}$ 与 $\left \{ {b_{n}}\right \}$ 的卷积（5）

的母函数为。

定理：状态i常返的充要条件为（6）

如i 非常返，则（7）

证明：规定。由定理4.4（下面给出该定理）知，

（8）

两边乘以 $s^{n}$ ，并对 $n\geqslant 1$ 求和，若记与的母函数分别为P(s)与F(s)，与（5）式比较得

（9）

注意到当时，，因此

（10）

显然对任意正整数N都有

（11）

且当时，P(s)不减，故在上式中如先令，再令，我们有

（12）

同理可得

（13）

令（10）式两边中的，由（11），（12）式立得定理。

定理：当i常返时，返回i的此次数是无限多次；当i为非常返时，返回i的次数只能又有限多次。

三零常返态的例子

因为零常返态中， $\lim_{n\rightarrow \infty } p_{ij}^{(n)} = 0$ ，且 $\mu _{i} = \sum_{n=1}^{\infty }nf_{ij}^{(n)}=\infty$ 。所以可以用发散级数来寻找零常返态的例子：如

$\sum_{n=1}^{\infty }(\frac{3}{2})^{n} = 3^{n} \cdot (\frac{1}{2})^{n}$ 为发散级数。可以令一个马尔可夫链的周期d = 3^n，该状态转移图如下图所示：

图2 零常返的状态转移图

可以观察到，状态1中： $f_{ij}^{(1)}=0$ ， $f_{ij}^{(2)}=0$ ， $f_{ij}^{(3)}=\frac{1}{2}$ ， $f_{ij}^{(4)}=0$ ，... ， $f_{ij}^{(8)}=0$ ， $f_{ij}^{(9)}=(\frac{1}{2})^{2}$ ， $f_{ij}^{(10)}=0$ ，...

因此状态1的首达概率为： $f_{ij} = \sum_{n=1}^{\infty }f_{ij}^{(n)}=(\frac{1}{2})+(\frac{1}{2})^{2}+(\frac{1}{2})^{3}+... = 1$ ，故状态1为常返态。

可知 $\mu _{1} = \sum_{n=1}^{\infty }nf_{ij}^{(n)}=3*(\frac{1}{2})+3^{2}*(\frac{1}{2})^{2}+3^{3}*(\frac{1}{2})^{3}+... = \sum_{n=1}^{\infty }(\frac{3}{2})^{n}$ 为发散级数，故状态1为零常返态。

定理4.4 对任意状态i,j及 $1\leqslant n\leq < \infty$ 有

$p_{i,j}^{n} = \sum_{k=1}^{n} f_{i,j}^{k} p_{j,j}^{n-k} = \sum_{k=1}^{n} f_{i,j}^{n-k} p_{j,j}^{k}$

参考文献：刘次华, 随机过程(第五版),华中科技大学出版社, 中国武汉, 2014

凉冰难消一腔热血

关注

22
点赞
踩
63

收藏

觉得还不错? 一键收藏
4
评论
马尔可夫链的常返态和非常返态-零常返态

一非常返状态的定义设I={1、2、3、4}，转移概率如图1所示，可以计算出状态2和状态3有相同的周期d=2。但由状态3出发经两步必定返回到3，而状态2则不然，当状态2转移到状态3后，便不可以返回到状态2，因此为了区分着两种状态，引入了常返性概念。记（1）显然由马氏链性质于齐次性上式右方与m无关。它表示质点由状态i出发，经n步首次到达状态j的概率，也称为首中概率（或首达概率）。记（2）它表示指点由状态i出发，经有限步终于到达状态j的概率。图1 马尔可夫链上图1中的.
复制链接

扫一扫