隐马尔可夫模型

最新推荐文章于 2024-10-18 11:21:51 发布

好好学习Py

最新推荐文章于 2024-10-18 11:21:51 发布

阅读量397

点赞数 9

分类专栏：自然语言处理文章标签：人工智能 python 自然语言处理

本文链接：https://blog.csdn.net/weixin_74254879/article/details/140500496

版权

自然语言处理专栏收录该内容

19 篇文章 1 订阅

订阅专栏

概念

隐马尔可夫模型（Hidden Markov Model，HMM）是一种用来描述两个联合时序序列分布 $P(x,y)$ 的概率模型。其中， $x$ 序列是外界可见的，称为观测序列； $y$ 序列是外界不可见的，称为状态序列。

主要特点和假设

马尔可夫假设：隐马尔可夫模型假设状态序列 $y$ 满足马尔可夫性质，即当前状态的概率仅依赖于前一个状态。这种连续多个状态构成了隐马尔可夫链。

观测依赖状态：在任意时刻 $t$ ，观测 $x_{t}$ 只依赖于该时刻的状态 $y_{t}$ ，与其他时刻的状态或观测无关。这体现了观测序列是由状态序列生成的。

模型要素

状态集（States）：系统可能处于的所有状态的集合。假设状态集为 $y=\left \{ s_{1},s_{2},...,s_{N} \right \}$

观测集（Observations）：可以观测到的输出符号的集合。假设观测集为 $x = \left \{ o_{1},o_{2},...,o_{M} \right \}$

初始状态概率分布（Initial State Distribution）：在时间 $t=1$ 时刻系统处于状态 $s_{i}$ 的概率，记为 $\pi=P(y_{1}=s_{i})$ ， $1\leq i\leq N$

状态转移概率矩阵（State Transition Probability Matrix）：系统从状态 $s_{i}$ 转移到状态 $s_{j}$ 的概率，记为 $A=P\left \{ a_{ij} \right \}$ ，其中 $a_{ij}=P\left \{ y_{t}=s_{j} |y_{t-1}=s_{i}\right \}$ ， $1\leq i,j\leq N$

观测概率矩阵（Observation Probability Matrix）：在状态 $s_{i}$ 下生成观测 $o_{k}$ 的概率，记为 $B=P\left \{ b_{ik} \right \}$ ，其中 $b_{ik}=P\left \{ x_{t}=o_{k} |y_{t}=s_{i}\right \}$ ， $1\leq k\leq M$ ， $1\leq i\leq N$

确定了隐马尔可夫模型三元组 $\lambda =\left ( \pi ,A,B \right )$ ，隐马尔可夫模型就确定了。

三个基本问题

概率计算问题（Evaluation Problem）

问题描述：给定参数 $\lambda$ 和观测序列 $O=\left ( o_{1},o_{2},...,o_{T} \right )$ ，计算在 $\lambda$ 下观测序列 $O$ 出现的概率 $P=(O|\lambda )$
解决方法：前向算法，通过递归计算每个时间步的前向概率，最终得到观测序列的概率

学习问题（Learning Problem）

问题描述：已知观测序列 $O=\left ( o_{1},o_{2},...,o_{T} \right )$ ，估计模型 $\lambda$ 的参数，使得在该模型下 $P=(O|\lambda )$ 最大
解决方法：Baum-Welch算法

预测问题（Decoding Problem）

问题描述：给定参数 $\lambda$ 和观测序列 $O=\left ( o_{1},o_{2},...,o_{T} \right )$ ，求对给定观测序列条件概率 $P(S|O)$ 最大的序列状态 $S=(s_{1},s_{2},...,s_{T})$
解决方法：维特比算法通过动态规划的方法，找到使观测序列概率最大的状态序列