马尔科夫

马尔可夫链 

马尔可夫链，因安德烈·马尔可夫（A.A.Markov，1856－1922）得名，是指数学中具有马尔可夫性质的离散事件 随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当前以前的历史状态）对于预测将来（即当前以后的未来状态）是无关的。  [1]  

在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做 转移概率。 随机漫步就是马尔可夫链的例子。 随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。

马尔可夫链是满足马尔可夫性质的 随机过程。

 

马尔可夫链（Markov Chain），描述了一种状态序列，其每个状态值取决于前面有限个状态。马尔可夫链是具有马尔可夫性质的随机变量的一个数列。这些变量的范围，即它们所有可能取值的 集合，被称为“ 状态空间”，而

   

的值则是在时间n的状态。如果

   

对于过去状态的条件 概率分布仅是

   

的一个函数，则

这里x为过程中的某个状态。上面这个 恒等式可以被看作是 马尔可夫性质。

参考

百度百科 马尔科夫链 https://baike.baidu.com/item/%E9%A9%AC%E5%B0%94%E5%8F%AF%E5%A4%AB%E9%93%BE