隐马尔科夫模型（Hidden Markov Model）（一）

前言

隐马尔科夫模型是一种重要的概率图模型，也是自然语言处理中一种最为快速最为有效的模型，成功的解决了语音识别，机器翻译问题，最近转自然语言处理，所以对一些相关模型进行总结，以便日后工作中可以灵活使用去解决各类自然语言问题。

马尔科夫模型

我们在日常生活中会遇到这一类问题，考察一个随机变量的序列，这些随机变量并不是相互独立的，每一个随机变量会依赖于这个序列的前面一个状态。如果有一个系统有N个有限状态 S = { s 1 , s 2 , s 3 , . . . , s N } S=\{s_1,s_2,s_3,...,s_N\} S={ s1​,s2​,s3​,...,sN​}，那么随机时间的推移，系统会从一个状态转移到另一个状态。$Q=(q_1,q_2,q_3,...,q_T)$为随机变量的一个序列，随机变量的取值为状态集为$S$中的某一个状态，假设在时间$t$的状态记为$q_t$，那么对该系统的描述通常需要给出当前时刻$t$的状态和前面所有状态的关系：系统在时间$t$处于状态$s_j$的概率取决于其在时间$1,2,...,t-1$的状态，该概率为$$P(q_t=s_j|q_{t-1}=s_i,q_{t-2}=s_k,...)$$如果在特定的情况下，系统在时间$t$的状态只与其在时间$t-1$状态相关，即 P ( q t = s j ∣ q t −