【通俗易懂的通信】马尔可夫过程Ⅱ：马尔可夫链中的状态，常返、非常返

往期基础知识回顾：马尔可夫过程Ⅰ：马尔可夫链、齐次马尔可夫链、CK方程

0、符号规定

：转移概率，从状态i到状态j，n步转移概率，不关心是否重复经过状态j。

：首达概率，经过n步第一次从i达到j的概率，规定途中不能经过状态j。

：迟早到达的概率，为首达概率的和。

：平均转移步数，为到达状态j的期望。

：从状态i首次返回状态i的平均步数

1、状态分类

注解：

所谓某个事件（状态）是常返态，就表示该事件一定会发生。

某个事件是非常返态，就表示该事件有几率不发生。

而有限状态马氏链不存在零常返状态。

2、示例：

下面介绍两个简单的有限马氏链示例，来直观的介绍常返与非常返。

若某有限马氏链只存在两个状态0，1，其一步转移矩阵如下所示：

情况一：

可见，状态0有概率保持状态或者进入状态1，状态1同样也有概率保持或者转入状态0。

那么对于状态0，它有概率保持0，表示它返回了0；也有概率转入1，但是由于1也能转入0，所以即使从0转入1，也一定会返回0，只是需要一定步数。即状态0常返，或者说返回0这个事件一定发生，对于状态1也是同理。

情况二：

这种情况下，状态0一旦转入状态1，状态就会一直保持1，就无法返回0，那么表示返回0这个事件不是一定发生的，因为状态0一旦转入状态1就不会返回0，那么状态0就是非常返态，状态1就是常返态。