吸收马尔科夫链

一、 吸收态马尔可夫链
        马尔可夫链是一种比较常用、 比较熟悉的随机过程, 它描述的是这样的情形 一个系统具有有限个状态, 系统在下一时刻的状态取决于 系统现在所处的状态, 而与以前的状态无关
, 即系统具有无后效性 系统由一种状态转移至 另一种 状态的过程称为马尔可夫过程 马尔可夫 过程按照其状态是离散的或是连续的, 分别称为状态离散的马尔可夫过程或状态连续的马 尔可夫过程 时间和状态均离散的一系列马尔可夫 过程的全体称为马尔可夫链 
       马尔可夫过程分析是利用状态间的状态转移概率 pij来反映系统状态的动态变化, 表示 从第i个状态经过一步转移到第 」状态的概率 以状态转移概率为元素的矩阵称为马尔可夫链的一步状态转移概率矩阵，简称转移矩阵。

        如果马尔可夫链上的 两状 态 可 以相互转移,则称两状态是连通的 。如果状态空 间 中的任意 两状态都是连通的, 则称此状态空间是连通状态空间。 根据连通的概念, 马尔可夫链 的状态空间可以分为过渡类和封闭类两类, 每个状 态唯一地属于其中一类 ，若连通状态空间 的任意状 态 可 以到达连通空间以外的状态, 而外面的 状态 不 可转人其内, 此状态空间称为过渡类 ，若连通状态空间内的任意状态都不可能到达状态空 间外的任一状态, 而外面的状态可以转人其内, 此状态空间称为封闭类 如果封闭类仅为一状态, 则称之 为吸收态。，含有吸收态的马尔可夫链称 为吸收态 马尔可夫链。

二、 吸收态马尔可夫链的分析模型
    将系统的状态空间分为封闭类和过渡类两类，马尔可夫链的状态转移矩阵可以表示为如下形式：