Markov Chain 马尔可夫链

1. 马尔可夫性质

对于任意 ，任意，任意状态

有

比较直观的定义是：

令:

则马尔可夫性质为：

已知到现在为止的所有信息来预测将来，则只与现在状态有关，与过去所有状态都没有关系。

2. 马尔可夫链

如果是状态离散的随机过程，并且具有马尔可夫性质，则称此随机过程为马尔可夫链（Markov Chain）。

将m时刻处于状态i的条件下，到n时刻转移到状态j的转移概率简写成：

其具有以下性质：

即：

1. 从  时刻的状态i转移到  时刻的某一状态  的概率始终大于等于0；

2. 从  时刻的状态i转移到  时刻的任意状态  的概率总和为1，因为他总要从  时刻转移到  时刻的，状态必然是  时刻的某一个状态。

概率转移矩阵

记  为对应的 n 步转移矩阵，其维度为 ,  为状态空间（状态的数量）。

性质：各元素非负，每行之和为1. （非常好证明，可以用个二维矩阵自己试一下）

3. 时齐马尔可夫链

如果对于任意状态 ，不依赖于 ，则称  是时齐的马尔可夫链。

就是说在任意状态，他的下一步的概率分布情况与所处时刻无关。

可以认为时齐的马尔可夫链是一个心理素质特别好的运动员，他参加亚运会或者参加奥运会对他来说都一样，他不会因为奥运会压力大就发生失误；比如他参加亚运会得金牌的概率是50%，那么他参加奥运会时得金牌的概率依然是50%。

定义为从  到  的一步转移概率，定义为一步转移矩阵。