【通俗易懂的通信】马尔可夫过程Ⅱ:马尔可夫链中的状态,常返、非常返

往期基础知识回顾:马尔可夫过程Ⅰ:马尔可夫链、齐次马尔可夫链、CK方程

0、符号规定

p_{ij}^{(n)}:转移概率,从状态i到状态j,n步转移概率,不关心是否重复经过状态j。

f_{ij}^{(n)}:首达概率,经过n步第一次从i达到j的概率,规定途中不能经过状态j。

f_{ij}=\sum_{1\leq n< \infty}f_{ij}^{(n)}:迟早到达的概率,为首达概率的和。

\mu _{ij}=\sum_{1\leq n< \infty}nf_{ij}^{(n)}:平均转移步数,为到达状态j的期望。

\mu_i=\mu_{ii}:从状态i首次返回状态i的平均步数

1、状态分类

注解:

所谓某个事件(状态)是常返态,就表示该事件一定会发生。

某个事件是非常返态,就表示该事件有几率不发生。

有限状态马氏链不存在零常返状态。

2、示例:

下面介绍两个简单的有限马氏链示例,来直观的介绍常返与非常返。

若某有限马氏链只存在两个状态0,1,其一步转移矩阵如下所示:

情况一:

\begin{bmatrix} 0.2 & 0.8\\ 0.4&0.6 \end{bmatrix}

可见,状态0有概率保持状态或者进入状态1,状态1同样也有概率保持或者转入状态0。

那么对于状态0,它有概率保持0,表示它返回了0;也有概率转入1,但是由于1也能转入0,所以即使从0转入1,也一定会返回0,只是需要一定步数。即状态0常返,或者说返回0这个事件一定发生,对于状态1也是同理。

情况二:

\begin{bmatrix} 0.2 & 0.8\\ 0&1 \end{bmatrix}

这种情况下,状态0一旦转入状态1,状态就会一直保持1,就无法返回0,那么表示返回0这个事件不是一定发生的,因为状态0一旦转入状态1就不会返回0,那么状态0就是非常返态,状态1就是常返态。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值