隐含马尔可夫模型常用于解决自然语言处理的问题。例如语音识别、机器翻译等。
目录
通信模型
在通信模型中,如何根据观察数据o1,o2,o3,...来推测信号源发送的信息s1,s2,s3,...呢?用概率论的语言来表述,就是求在已知o1,o2,o3,...的情况下s1,s2,s3,...的最大概率,即
根据P(A|B)*P(B)=P(B|A)*P(A),上式右侧等价于
在求最大值的时候,分母P(o1,o2,o3,...)是一个可忽略的常数,等价于求5.2式的分子的最大值。
哈哈,变成这个形式还是不会求解呢?啦啦啦告诉你,这个公式完全可以用隐含马尔可夫模型(Hidden Markov Model)来估计哇。
隐含马尔可夫模型
介绍马尔可夫模型,还是要从马尔可夫链说起。19世纪的时候,概率论的发展从研究随机变量转变为随机过程。随机过程比随机变量要复杂一丢丢。假设有一个状态集合{s1,s2,s3},首先,一个时间序列t1,t2,t3,...中t时刻选取的状态是随机的,如序列。第二,任一状态的取值可能与周围其它的状态有关。这样随机状态就有了两个维度的不确定性。马尔可夫为了简化问题,提出了一种简化的假设,即随机过程中各个状态的概率分布,只与它的前一个状态有关,即