马尔可夫链（Markov Chain）

---

一、马尔可夫链的定义与特点

定义

• 马尔可夫链是一个由状态（state）组成的序列，状态之间的转移依赖于当前状态，但不依赖于之前的状态历史。
• 换句话说，当前状态的信息足以决定下一个状态的分布，这就是所谓的马尔可夫性（Markov property）。

数学表达式为：
$$P(q_i|q_{i-1},q_{i-2},\dots ,q_1)=P(q_i|q_{i-1})$$
这种假设称为一阶马尔可夫假设（First-order Markov assumption）。

---

特点

1. 状态集合（States, N N