对平稳马尔可夫链（stationary distribution of a Markov chain）的学习

首先介绍马尔可夫链的平稳分布：
  给定一个马尔可夫链，其状态空间存在概率分布π=π(s)，且转移矩阵和转移概率P=p(i，j)，若满足π=πP（平衡方程），则称π是该马尔可夫链的平稳分布，或称为转移阵P的不变测度。
  如果马尔可夫链的存在平稳分布，并且其初始分布也是平稳分布，则该马尔可夫链处于稳态。
  平稳分布准则：对不可约的马尔可夫链，当且仅当其存在唯一平稳分布，即平衡方程π=πP在正单纯形上有唯一解时，该马尔可夫链是正常返的，且平稳分布于平均返回时间呈倒数关系。

• 马尔可夫链存在平稳分布的充要条件是其存在正常返状态。

然后再了解一下马尔可夫链的极限分布：
  给定一个马尔可夫链，其状态空间存在概率分布π=π(s)，且等于随机变量概率分布的极限*(时间步趋于无穷)*，则称该分布为马尔可夫链的极限分布。

• 极限分布一定是平稳分布，反之不成立。

在了解平稳分布和极限分布之后，就可以更好的了解平稳马尔科夫链也称齐次马尔可夫链：

• 平稳马尔科夫链拥有唯一的平稳分布且极限分布收敛于平稳分布，且其是严格的平稳随机过程，演变与时间无关。

若平稳马尔可夫链对其任意两个状态满足细致平衡条件，则其具有可逆性，被称为可逆马尔可夫链。

• 马尔可夫链的可逆性是更严格的不可约性，即其不仅可以在任意状态间转移，且向各状态转移的概率是相等的，因此可逆马尔可夫链是平稳马尔可夫链的充分非必要条件。

【注】文章内容总结自互联网。