马尔可夫链

马尔可夫链简单介绍

1. 下一状态的概率分布只能由当前状态决定。在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。

2. 当 时，最终状态始终会收敛到一个固定值。（状态转移矩阵P的幂次方，以及初始状态乘以n个状态转移矩阵P）

3. 细致平稳条件

单纯形向量 ：每个元素的取值范围为[0,1]，并且所有元素的和为1，且P的每一行也是个概率单纯形向量

给定一个马尔科夫链，分布π \piπ和概率转移矩阵P，如果下面等式成立:
                                                                    

则此马尔科夫链具有一个平稳分布。

其中的平稳分布：状态转移矩阵P的n次幂方后乘以初始状态后的向量（也是P的n次幂方后的每一行）

4. 马尔可夫链收敛性质

                                                                

                                     

                                                               是方程的唯一非负解