通俗理解马尔科夫链

    在理解马尔科夫链之前先了解一下马尔科夫性质，我们假设某一过程是由一个状态序列构成，就相当于视频由每一帧构成。这个状态序列被称为状态空间，假设某一时刻的状态是其前一时刻状态的函数，则说明该序列有马尔科夫性质，通俗的说，该时刻的状态只与其前一时刻的状态有关，则序列有马尔科夫性质。所以我们在预测下一状态时，只与当前状态有关，与当前状态之前的状态都无关。

由此引出一个概念：马尔科夫过程。我们仅仅用语言描述：由概率论知识得，第n个状态的条件概率等于之前n-1个状态都成立时第n个状态出现的概率，由于马尔科夫性质，则简化成第n个状态的条件概率就等于第n-1个状态条件下状态n出现的概率，满足这个过程也就称之为马尔科夫过程。

从第n个状态到第n+1个状态时，有一个转换矩阵A，即有P(n+1)=P(n)*A，由此推到得P(n+1)=P(1)A^n（n次幂），当P(n+1)和P(n)的差值在一个很小的范围内，我们则称马尔科夫链达到平稳状态，其中转换矩阵A实际上就是状态n中的各个部分转换成状态n+1时各部分的转换概率，这个值可以自己设定，但是我们知道概率之和必须等于1，即A中的元素之和必须等于1。