马尔可夫链与隐马尔可夫模型

马尔可夫链

考察一个随机变量序列，这些随机变量并不是相互独立的，每个随机变量的值依赖于这个序列前面的状态。如果一个系统有$N$个有限状态$S=(s_1,s_2,s_3,...s_N)$，那么随着时间推移，该系统将从某一状态转移到另一状态。设$Q=(q_1,q_2,q_3,...,q_T)$为一个随机变量序列，取值为状态集$S$中的某个状态，对该系统的描述通常需要给出当前时刻$t$的状态和其前面所有状态的关系：系统在时刻$t$处于状态$s_j$的概率为：$P(q_t=s_j|q_{t-1}=s_i,q_{t-2}=s_k,...)$
如果特定条件下，系统在时间$t$的状态只与其在时间$t-1$的状态相关，即：
$P(q_t=s_j|q_{t-1}=s_i,q_{t-2}=s_k,...)=P(q_t=s_j|q_{t-1}=s_i)$
则该系统构成一个离散的一阶马尔可夫链。

状态转移概率

考虑独立于时间$t$的一阶马尔可夫过程：
$P(q_t=s_j|q_{t-1}=s_i)=a_{ij},1\le i,j\le N$
满足：$a_{ij}\ge 0,{\sum }_{j=1}^N{a}_{ij}=1$
有$N$个状态的一阶马尔可夫过程有$N^2$次状态转移，其状态转移概率可以表示成一个状态转移矩阵$A=[a_{ij}]$。

有限状态机

如图，马尔可夫模型又可视为随机的有限状态机，圆圈表示状态，状态之间的转移用带箭头的弧表示，弧上的数字为状态转移的概率。初始状态用标记为start的输入箭头表示，任何一个状态都可作为终止状态。

一个马尔可夫链的状态序列的概率可以通过计算形成该状态序列的所有状态之间转移弧上的概率乘积而得出，即：
$$\begin{array}{rl}P(q_1,q_2,...,q_T)=& P(q_1)P(q_2|q_1)P(q_3|q_1,q_2)...P(q_T|q_1,q_2,...,q_{T-1})\\ =& P(q_1)P(q_2|q_1)P(q_3|q_2)...P(q_T|q_{T-1})\\ =& {\pi }_{q_1}\prod _{t=1}^{T-1}{a}_{q_t{q}_{t+1}}\end{array}$$
其中，${\pi }_{q_1}=P(q_1)$。

隐马尔可夫模型HMM

马尔可夫模型中，每一个状态代表了一个可观察的事件，所以又称作可视马尔可夫模型。对于有些问题，我们并不知道所经过的状态序列，只知道状态序列的概率函数（观测序列，可见的）。也就是说模型的状态转换过程是不可观察的，即隐蔽的。这种情况下，需要使用隐马尔可夫模型进行建模，它可以看作是马尔可夫链的一个扩展。
详细介绍推荐https://www.cnblogs.com/pinard/p/6945257.html
一般的，一个HMM记为一个五元组$\mu =(S,K,A,B,\pi )$,$S$为状态的集合，$K$为输出符号的集合，$A,B,\pi$分别表示状态转移概率、符号发射概率（也叫生成概率，来自观测独立性假设，即任意时刻的观察状态只仅仅依赖于当前时刻的隐藏状态，$b_j(k)=P(o_t=v_k|i_t=q_j)$）和初始状态的概率分布。为了简单，有时也将五元组记为三元组$\lambda =(A,B,\pi )$。
HMM中有三个基本问题：

概率计算问题：

给定HMM模型三元组$\lambda$和观察序列$O=(o_1,o_2,o_3...)$，计算观察序列的概率$P(O|\lambda )$。
如果用穷举所有可能的隐藏状态序列$I=(q_1,q_2,...,q_T)$,分别求观测序列$O=(o_1,o_2,...,o_T)$出现的概率分布$P(O,I|\lambda )$，那么就很容易求出边缘概率$P(O|\lambda )$。但该算法的时间复杂度将是$O(T{N}^T)$，因此利用下列简洁算法——前向后向算法

前向算法

前向和后向算法本质都属于动态规划算法。
定义时刻$t$时隐藏状态为$q_t$, 观测状态的序列为$o_1,o_2,...,o_t$的概率为前向概率，即：
$${\alpha }_t(i)=P(o_1,o_2,...,o_t,i_t=q_i|\lambda )$$