隐马尔科夫模型(HMM)入门详解

隐马尔科夫模型(HMM)

---

1. HMM的数学定义

对于$i=1,2,\cdots ,n$时刻，HMM中有两组变量序列，用 x = { x 1 , x 2 , ⋯   , x n } , x i ∈ { o 1 , o 2 , ⋯   , o M } x=\{x_1,x_2,\cdots,x_n\},x_i\in \{o_1,o_2,\cdots,o_M\} x={x1​,x2​,⋯,xn​},xi​∈{o1​,o2​,⋯,oM​}表示观测序列（每个观测变量有$M$个可能的取值）， y = { y 1 , y 2 , ⋯   , y n } , y i ∈ { s 1 , s 2 , ⋯   , s N } y=\{y_1,y_2,\cdots,y_n\},y_i\in\{s_1,s_2,\cdots,s_N\} y={y1​,y2​,⋯,yn​},yi​∈{s1​,s2​,⋯,sN​}（每个状态变量有$N$个可能的取值）表示状态序列。
并且有如下假设：在任一时刻，观测变量的取值仅仅依赖于状态变量，即$x_t$仅由$y_t$决定；同时，$y_t$仅依赖于$y_{t-1}$，即状态变量序列是一个马尔科夫链。由此可以得到所有变量的联合概率分布为：
$$\begin{gathered} P(x_1,y_1,\cdots ,x_n,y_n)=P(y_1)P(x_1|y_1)\prod _{i=2}^{n}P(y_i|y_{i-1})P(x_i|y_i) \\ \text{\hspace{1em}(1-1)} \end{gathered}$$
要想确定一个HMM模型还需要如下三组参数：

• 状态转移概率矩阵：$A=[a_{ij}{]}_{N\times N}$，其中$a_{ij}=P(y_{t+1}=s_j|y_t=s_i),1\le i,j\le N$
• 观测概率矩阵：$B=[b_{ij}{]}_{N\times M}$，其中$b_{ij}=P(x_t=o_j|y_t=s_i),1\le i\le N,1\le j\le M$
• 初始状态概率向量：$\pi =({\pi }_1,{\pi }_2,\cdots ,{\pi }_N)$，其中${\pi }_i=P(y_1=s_i)$