吸收马尔科夫链图解

原博客

吸收马尔可夫链

在马尔可夫链中，称Pij=1的状态为吸收状态。如果一个马尔可夫链中至少包含一个吸收状态，并且从每一个非吸收状态出发，都可以到达某个吸收状态，那么这个马尔可夫链称为吸收马尔可夫链（Absorbing Markov Chains）[1]。

Drunkard's Walk

在上图的醉汉游走模型中，当醉汉处于位置1、2或者3时，他将会以等概率（1/2）向左或者向右走，他一直走，直到他到达位置0（他的家）或者位置4（酒吧）才停止游走。这模型的转移矩阵为：

含有 r 个吸收状态和 t 个非吸收状态的吸收链，其转移矩阵的标准形式为：

这里的 I 是一个r×r的单位矩阵，0是一个r×t的零矩阵，R是一个t×r的非零矩阵，Q是一个t×t的矩阵。

• 吸收链到达吸收状态的概率为1（即当n→∞时，Qn→0）。
• 对于吸收链P的标准形式，矩阵 "I-Q" 有可逆矩阵 N=(I-Q)^(-1)=I+Q+Q^2+···    （等比数列求和取极限，这里的I只是个txt的单位矩阵）
• N：元素 nij 是从非吸收状态si到另一非吸收状态sj的平均转移次数。设c为元素全为1的列向量，则
• t=Nc (c=[1,1,···,1]')：的第 i 个分量是从第 i 个非吸收态出发，到某个吸收状态的平均转移次数。
• B=NR：从非吸收状态i出发最终被吸收状态j吸收的概率

以上图的醉汉游走模型为例，其转移矩阵的标准形式为：

      

从N的中间一行可以看出，如果从状态2开始，则被吸收前到达状态1、2和3的平均转移次数分别为1、2和1。

从状态1、2和3出发，到达吸收状态的平均转移次数分别为3、4和3。

 

由矩阵B的第一行可知，从状态1出发，有3/4的概率到达吸收状态0，有1/4的概率到达吸收状态4。

 

各态遍历马尔科夫链（ergodic Markov chain）

对于马尔可夫链，需要注意以下的两点：
1、周期性：即经过有限次的状态转移，又回到了自身；
2、不可约：即两个状态之间相互转移；
如果一个马尔可夫过程既没有周期性，又不可约，则称为各态遍历马尔科夫链（ergodic Markov chain）。

稳定分布π是一个（行）向量，它的元素都非负且和为1，不随施加P操作而改变，定义为：

对于一个各态遍历的马尔可夫过程，无论初始值π(0)取何值，随着转移次数的增多，随机变量的取值分布最终都会收敛到唯一的平稳分布π∗，即：

且这个平稳分布π∗满足：

其中，为转移概率矩阵。