Markov Chain（bate）

• 定义：由连续的随机移动组成的路径，在数学上称为随机游走。马尔可夫链是随机游走中比较有代表性的一种。它是一个具有马尔科夫特性的随机过程，也就是说，无记忆性，即下一步移动只和当前状态有关，和历史状态或者移动无关。
• 每个移动又被称之为转移。所有状态组成状态空间。
• 不可约：一个马尔可夫链如果是一个单独的通信类，或者说从任何状态都有可能到达另一个状态，那么称该马尔可夫链为不可约的。
• 周期性：$k=\text{gcd}\left\{n>0: Pr(X_n=i|X_0=i)\right\}$$\text{gcd}表示求最大公约数。$
• 状态$i$如果是暂态，即回不到状态$i$的概率非0，否则称为循坏态（recurrent）。
• 如果一个不可约马尔科夫链是各态历经的，即它的每一个状态都是aperiodic的。
• 参考文献
  markov chain （Wiki）