机器学习笔记（十二）——马尔科夫模型

    马尔科夫模型是一种概率图模型，它描述了一类重要的随机过程(随机过程又称为随机函数，是随时间而随机变化的过程)。我们常常需要考察一个随机变量序列，这些随机变量序列并不是相互独立的，每个随机变量的值都依赖于这个序列前边的状态。

    如果一个系统有$N$个有限状态$S=\{s_1,s_2,\dots,s_N\}$，那么随着时间的推移，该系统将从一个状态转换到另一个状态。$Q=(q_1,q_2,\dots, q_T)$为一个随机序列，它表示为在$t$时刻系统的状态$q_T$，值为$S$中的某个状态。

系统在时间$t$处于状态$s_j$的概率取决于其在时间$1,2\dots,t-1$的状态，该概率为：

$$P(q_t=s_j|q_{t-1}=s_i,q_{t-2}=s_k,\dots)$$

    如果在特定的条件下，系统在时间$t$的状态只与它之前$t-1$的状态有关，即

$$P(q_t=s_j|q_{t-1}=s_i,q_{t-2}=s_k,\dots) = P(q_t=s_j|q_{t-1}=s_i) (1)$$
则该系统构成一个离散的 一阶马尔科夫链。

    如果只考虑(1)式独立于时间$t$的随机过程：

$$P(q_t=s_j|q_{t-1}=s_i) =a_{ij}, 其中，1 \le i, j \le N$$
则该随机过程称为马尔科夫模型。其中，状态转移概率$a_{ij}$满足以下条件：

$$a_{ij} \ge 0 \\ \sum_{j=1}^N a_{ij}=1$$
显然，有 $N$个状态的一阶马尔科夫过程有$N^2$次状态转移，状态转移概率可以表示为一个状态转移矩阵。

    马尔科夫模型可以视为随机的有限状态机。