动态规划之隐含马尔可夫模型(HMM)和维特比算法(Viterbi Algorithm)

动态规划之(HMM)和(Viterbi Algorithm)

1. 实际问题

HMM－韦小宝的骰子
• 两种骰子，开始以2/5的概率出千。
– 正常A：以1/6的概率出现每个点
– 不正常B： 5,6出现概率为3/10,其它为1/10
• 出千的随机规律

观测到其一次投掷结果

$$Y=\{1,3,4,5,5,6,6,3,2,6\}$$
问题是韦小宝何时出千了？

2. 马尔可夫模型(HMM)介绍

隐马尔可夫模型（Hidden Markov Model，HMM）作为一种统计分析模型，创立于20世纪70年代。80年代得到了传播和发展，成为信号处理的一个重要方向，现已成功地用于语音识别，行为识别，文字识别以及故障诊断等领域。模型如下图所示：

隐马尔可夫模型是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有相应概率密度分布的状态序列产生。所以，隐马尔可夫模型是一个双重随机过程—-具有一定状态数的隐马尔可夫链和显示随机函数集。自20世纪80年代以来，HMM被应用于语音识别，取得重大成功。到了90年代，HMM还被引入计算机文字识别和移动通信核心技术“多用户的检测”。HMM在生物信息科学、故障诊断等领域也开始得到应用。
隐马尔可夫模型（HMM）可以用五个元素来描述，包括2个状态集合和3个概率矩阵：

2.1 HMM数学模型表达

(1)隐过程为$X={\{X_1,X_2,X_3,...,X_T\}}$
(2)观察过程为 Y={ Y1,Y