词向量：语言模型

最新推荐文章于 2024-07-17 10:18:40 发布

lpty

最新推荐文章于 2024-07-17 10:18:40 发布

阅读量3.1k

点赞数

分类专栏：自然语言自然语言基础文章标签：语言模型自然语言处理

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/sinat_33741547/article/details/78744723

版权

一、统计语言模型

1、什么是统计语言模型？

一个语言模型通常构建为字符串s的概率分布p(s)，这里的p(s)实际上反映的是s作为一个句子出现的概率。

这里的概率指的是组成字符串的这个组合，在训练语料中出现的似然，与句子是否合乎语法无关。假设训练语料来自于人类的语言，那么可以认为这个概率是的是一句话是否是人话的概率。

2、怎么建立统计语言模型？

对于一个由T个词按顺序构成的句子 $s=w_{1}w_{2}\cdot \cdot \cdot w_{T}$ ，p(s)实际上求解的是字符串 $w_{1}w_{2}\cdot \cdot \cdot w_{T}$ 的联合概率，利用贝叶斯公式，链式分解如下：

$p(s)=p(w_{1},w_{2}\cdot \cdot \cdot w_{T})=p(w_{1})p(w_{2}|w_{1})p(w_{3}|w_{1}w_{2})\cdot \cdot \cdot p(w_{T}|w_{1}\cdot \cdot \cdot w_{T-1})$

从上面可以看到，一个统计语言模型可以表示成，给定前面的的词，求后面一个词出现的条件概率。

我们在求p(s)时实际上就已经建立了一个模型，这里的p(*)就是模型的参数，如果这些参数已经求解得到，那么很容易就能够得到字符串s的概率。

3、求解的问题

假定字符串s为“i want to drink some water”，那么根据上面所建立的模型：

最低0.47元/天解锁文章

关注

0
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
词向量：语言模型

一、统计语言模型1、什么是统计语言模型？一个语言模型通常构建为字符串s的概率分布p(s)，这里的p(s)实际上反映的是s作为一个句子出现的概率。这里的概率指的是组成字符串的这个组合，在训练语料中出现的似然，与句子是否合乎语法无关。假设训练语料来自于人类的语言，那么可以认为这个概率是的是一句话是否是人话的概率。2、怎么建立统计语言模型？对于一个由T个词按顺序构成的句子，p(s)实
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。