马尔克夫链

      随机过程是随机变量在时间（或其他方面）轴上的扩展。针对固定的时间，一个随机过程就成了一个随机变量。可以简单的理解为在某个时刻，某个状态会按照随机变量遵循的统计概率性质出现，然后所有的时刻集中起来就是一个随机过程。以掷色子为例，你当前掷得色子的正反面的概率为0.5，服从一个0-1的二项分布，但是你把所有掷得色子按照时间顺序排列起来就是一个随机过程。

     马尔克夫链是一个随机过程，满足马尔克夫性即后效性：过程在时刻t0所处的状态为已知的条件下，过程在t>t0所处的状态的条件分布与过程在时刻t0之前所处的状态无关。最直观的也是最感性的认识是一个转移矩阵。其次的马尔克夫过程是指转移概率只与当前状态和下一个状态，以及两个状态之间的时间间隔（或距离间隔）有关。齐次的马尔克夫的n步转移概率矩阵是对1步转移概率矩阵的推广，如果按照图论的观点的话，n步转移举证就就是1步转移举证的n次幂。在图论中邻接矩阵的n次幂就表示当中经过了（n-1）个节点到达了目的地，这与n步转移的性质密切相关。具体的证明参照切普曼-柯莫哥洛夫方程。