nlp（贪心学院）——时序模型、HMM、隐变量模型、EM算法

Grateful_Dead424

已于 2022-05-08 13:10:38 修改

阅读量1.2k

点赞数 1

分类专栏：自然语言处理（贪心学院）文章标签：自然语言处理算法语音识别

于 2022-05-08 13:08:43 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/Grateful_Dead424/article/details/124611770

版权

自然语言处理（贪心学院）专栏收录该内容

8 篇文章 4 订阅

订阅专栏

任务225：时序模型

随时间维度变化的
每时每刻有相关性（t时刻数据t+1时刻数据有相关性）
时序数据长度不确定

时序数据：如股票价格、语音、文本、温度
在这里插入图片描述

任务226： HMM的介绍

在这里插入图片描述
观测值、隐式变量
z是一个隐式的状态
可以是生成模型，从状态生成观测值
也可以是判别模型

任务227： HMM的应用例子

掷硬币案例
A硬币出现正面的概率是 $\mu_{1}$
B硬币出现正面的概率是 $\mu_{2}$

小明和我隔着一块不透明的布
小明有自己的顺序投A还是投B，我只能看到硬币最后是正面还是反面朝上

由此产生两个问题
（1）inference问题
（2）parameter estimation参数估计问题
（3）P（正反正…），计算边缘概率
能不能通过观测值估算出所有的参数，能不能通过参数知道抛硬币的次序
在这里插入图片描述
词性标注案例

任务228： HMM的参数

在这里插入图片描述
A——状态转移的概率，从一个状态变成另一个状态
B——生成的概率，某一个状态下看到某个观测值的概率
$\pi$ ——某个状态是句首单词状态的概率

估计参数
（1）（x已知，z已知）complete case——>mle估计参数
（2）（x已知，z未知）incomplete case——>EM算法

任务229： HMM中的Inference问题

已知观测值、已知参数的情况下讨论在这里插入图片描述
第一种方法：使用枚举法

枚举z不同情况的组合

第二种方法：使用维特比算法
在这里插入图片描述
动态规划适合解决指数级别的复杂度，但可以通过存储中间的过程来去减轻计算量

维特比算法为什么适合HMM？
HMM有限制条件——隐式变量 $z_{i}$ 只会和前后 $z_{i}$ 有联系
在这里插入图片描述
从左到右，每一列填好，找出最后一列哪个结点分数最大，反向把整条路径找出来

任务230-232： HMM中的F B算法

在这里插入图片描述

通过forward和backward算法，可以计算P( $z_{k}$ $∣$ $x$ )的概率，方便后续的参数估计

任务233： Data Representation

在这里插入图片描述

原先的特征存在的问题
（1）冗余
（2）噪音
（3）有些特征不需要
更低维的空间有更好的特征表示方法

任务234： Latent Variable Models（隐变量模型）

隐变量模型——>EM算法解决掉

HMM，GMM（kmeans是其特例）都是经典的隐变量模型

传统逻辑回归（x，y）先在多了一个变量z——隐变量
隐变量gender、eye color、hair color、pose生成图片
x的维度比z的维度更高
现有z后有x
z之间有相关性
x之间没有相关性
在这里插入图片描述

任务235： Complete vs Incomplete Case

参数估计时
在这里插入图片描述

任务236： MLE for Complete and Incomplete Case

在这里插入图片描述

任务237： EM Derivation

在这里插入图片描述

任务238： Remarks on EM

EM算法不能保证全局最优解，只能保证局部最优解
EM算法，严格递增（一定会converge收敛）
在这里插入图片描述

任务239： K-means

在这里插入图片描述

任务240： K-means Cost Function

在这里插入图片描述

任务241： MLE for GMM

在这里插入图片描述

没有 $\sum$ 就是kmeans
在这里插入图片描述

任务244： HMM中的参数

在这里插入图片描述

任务245： Complete vs Incomplete Case

在这里插入图片描述

任务247： Incomplete Case

在这里插入图片描述

任务248： EM算法回顾

先求z的期望，再求ln这个式子
在这里插入图片描述

任务249： F B算法回顾

在这里插入图片描述

任务250：估计PI

在这里插入图片描述

任务251：估计B

在这里插入图片描述

在这里插入图片描述

任务252：估计A

在这里插入图片描述

这里讨论观测、状态变量都是离散的HMM的情况

Grateful_Dead424

关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
nlp（贪心学院）——时序模型、HMM、隐变量模型、EM算法

任务225：时序模型随时间维度变化的每时每刻有相关性（t时刻数据t+1时刻数据有相关性）时序数据长度不确定时序数据：如股票价格、语音、文本、温度任务226： HMM的介绍观测值、隐式变量z是一个隐式的状态可以是生成模型，从状态生成观测值也可以是判别模型任务227： HMM的应用例子掷硬币案例A硬币出现正面的概率是μ1\mu_{1}μ1B硬币出现正面的概率是μ2\mu_{2}μ2小明和我隔着一块不透明的布小明有自己的顺序投A还是投B，我只能看到硬币最后是正面还是反面朝
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。