隐马尔科夫模型一(概念理解)

前言

由于前一段时间在看CTC论文，里面用到了HMM中的前向后向算法，推公式的时候·一脸懵逼，所以又来学习HMM的思想，所以写篇博客做个笔记。本部分博客分为两篇，第一篇主要介绍一些基本的概念和思想，第二篇介绍理论的推导。博客的内容主要是基于<<统计学习方法>>以及其他的一些博客

模型概念

隐马尔可夫模型：隐马尔科夫模型是关于时序的概念模型，描述了由一个隐藏的马尔科夫链随机产生不可观测的状态随机序列，再由各个状态生成一个观测而产生的观测随机序列的过程。隐藏的马尔科夫链随机生成的状态序列成为状态序列：每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列。序列的每一个位置又可以看作一个时刻。

当第一次看到上述描述时估计大都数人都会和我一样一脸蒙逼，什么是状态序列，什么又是观测序列？还有隐马尔可夫链又是神马？

举个例子，假设你有一个住得很远的朋友,他每天跟你打电话告诉你他那天做了什么.你的朋友仅仅对三种活动感兴趣:公园散步,购物以及清理房间.他选择做什么事情只凭天气.你对于他所住的地方的天气情况并不了解,但是你知道总的趋势.在他告诉你每天所做的事情基础上,你想要猜测他所在地的天气情况。其实这个就是一个隐马尔科夫模型。每一天天气的变化就是一个隐马尔科夫链(即不同状态之间的转换)，其有两个状态 “雨"和"晴”,但是你无法直接观察它们,也就是说,它们对于你是隐藏的.每天,你的朋友有一定的概率进行下列活动:“散步”, “购物”, 或 “清理”. 因为你朋友告诉你他的活动,所以这些活动就是你的观察数据。这整个系统就是一个隐马尔可夫模型HMM。

对于上述的例子而言，如果连续持续多天，你的朋友可能根据不同的天气进行不同的活动(当然，这里有一个前提，你的朋友在同一天只能进行一种活动)，这几天天气的变化的就是一个隐藏的状态序列，比如说连续五天的天气为[‘晴’,‘雨’,‘雨’,‘晴’,‘雨’](这是在你不看天气预报的前提下o(╯□╰)o),而你的朋友每一天做的活动就组成了观测序列。这样看起来是不是简单多了。如果对这个例子还是不太理解，推荐看看参考资料[2]。

有了上面的例子，下面可以对隐马尔可夫模型进行符号化的定义。

定义

隐马尔科夫模型有初始概率分布、状态转移概率分布以及观测概率分布确定，其形式化定义如下:

设$Q$是所有可能状态集合，$V$是所有可能的观测的集合
Q = { q 1 , q 2 , . . . q N } , V = { v 1 , v 2 . . v M } Q=\{q_1,q_2,...q_N\},\quad V=\{v_1,v_2..v_M\} Q={ q1​,q2​,...qN​},V={ v1​,v2​..vM​}
其中$N$是可能的状态数，$M$是可能的观测数。

$I$是长度为$T$的状态序列，$O$是对应的观测序列。
$$I=(i_1,i_2...i_T),O=(o_1,o_2,...,o_T)$$
A是状态转移矩阵：
$$A=[a_{ij}{]}_{N\times N}$$
其中

$$a_{ij}=P(i_{t+1}$$