随机过程基础：2.Markov (马尔可夫)过程（1）

一、定义

        马尔可夫链是一种数学模型，用于描述一个系统随时间变化的状态。它的核心特征是“无记忆性”，即系统的下一个状态只依赖于当前状态，而与之前的历史状态无关。这种性质使得马尔可夫链在各类模型和应用中非常有用，如天气预报、股市分析、语言模型等。

        甚至，我曾经痴迷于这种数学模型蕴含的哲学观：人生就像是一个马尔可夫链，你的未来取决于你当下正在做的事，而无关于过去做完的事。当下就是最好的未来。

        马尔科夫链可以定义为一个离散时间随机过程 {Xn​,n∈N}，其中 Xn​ 表示系统在时间 n 时的状态。这个过程满足以下条件：

1. 状态空间 S 是一个可数集，表示系统可能处于的所有状态。

2. 对于所有时间 n∈N 和所有状态 i0​,i1​,…,in​∈S，马尔可夫性质成立，即：

   

   这表示给定当前状态Xn​，未来状态 Xn+1​ 的条件分布不依赖于过去的状态 Xn−1​,Xn−2​,…,X0​。

3. 转移概率 P(Xn+1​=j∣Xn​=i) 是已知的，并且通常用一个矩阵 P来表示，其中Pij​ 表示从状态 i 转移到状态 j 的概率。这个矩阵称为转移概率矩阵或马尔可夫矩阵。

4. 初始状态分布 P(X0​=i) 是已知的，表示系统在时间 00 时处于状态 i 的概率。

二、性质

• 遍历性（Ergodicity）：如果一个马尔可夫链最终能够达到一个稳定的状态分布，且这个分布不依赖于初始状态，那么这个链被称为遍历的。这意味着长时间来看，系统的行为具有一定的预测性。

• 互达性 (Communicate)：在马尔科夫链中，如果从状态 i 可以通过一系列转移到达状态 j（不必须直接到达，可以经过其他状态），我们说状态 i 可达状态 j。如果 i 可达 j 并且 j 也可达 i，我们则说这两个状态是互达的。简单来说，如果两个状态可以通过某种方式相互到达对方，那么它们就是互达的。互达是一种等价关系，具有自反性（每个状态都与自身互达）、对称性（如果 i 和 j 互达，那么 j 和 i 也互达）和传递性（如果 i 与 j 互达，j 与 k 互达，那么 i 与 k 也互达）。例如：一个室内设计，其中有两个门可以相互到达对方的房间，那么这两个房间就是互达的。

• 周期性（Periodicity）：在某些马尔可夫链中，系统可能会以某种固定模式循环往复，这种现象被称为周期性。例如，如果一个状态总是每隔一定步数返回，那么这个状态（以及整个链）就具有周期性。一个灯光系统，它在红灯、绿灯和黄灯间循环。从红灯回到红灯总是需要经过两次状态改变（红-绿-黄-红），因此红灯的周期是 3。

• 常返性（Recurrence）和瞬过性（Transience）：这两个概念用来描述系统返回某个状态的行为。如果从某个状态出发，系统最终几乎肯定会返回这个状态，那么这个状态就是常返的；如果返回的可能性不为1，那么就是瞬过的。例如：一个城市公交系统。有些线路（例如环线）会定期返回到起点站，这些可以被视为常返状态；而一些线路可能是单程线，从终点站出发后就不再返回起点站，这些则是瞬过状态。

三、平稳分布

        平稳分布是马尔可夫链在长时间运行后，每个状态出现概率的稳定分布。对于遍历的马尔可夫链，无论起始状态如何，系统都会趋于这个分布。这个分布可以帮助我们了解系统状态的长期行为。

四、极限定理

        马尔可夫链的极限定理涉及到当时间趋向无穷时，系统状态的分布趋势。对于遍历非周期的马尔可夫链，极限定理保证了存在一个唯一的平稳分布。这意味着，无论初始状态如何，系统最终都会达到这个稳定的状态分布。

五、实际应用示例

• 简单天气模型：假设一个地区只有晴天和雨天两种状态，通过历史数据我们可以建立一个马尔可夫链模型来预测明天的天气。如果今天是晴天，根据模型可能有80%的概率明天也是晴天，20%的概率转为雨天；而如果今天是雨天，可能有50%的概率明天仍然是雨天，50%的概率变为晴天。此外，对于天气状态的转移还有很多例子，比如我曾经在一次实习考核时做过一个风向转移的马尔科夫链。

• 文本生成：在自然语言处理中，可以使用马尔可夫链生成文本。根据前一个词或几个词的状态来预测下一个词的出现概率，以此生成连贯的句子或段落。