语言模型知识梳理

最近在做文本生成方面的工作,看了大量的语言模型相关的资料,在这里记录下来,以做参考。


(1)语言模型是什么?

语言模型是衡量一系列的字串是自然语言的概率,但是他不考虑语法层面的东西。

(2)语言模型的用处?

如:音字转换、拼写纠错、机器翻译等。

(3)语言模型现状

根据概率,我们有p(L) = p(w1|s)*p(w2|s,w1)*p(w3|s,w1,w2)*....P(e|s,w1,w2,...wn)

然而,需要的参数空间非常巨大,我们就用了马尔可夫假设,设定某个词只与其前N个词相关,如N=1,就是我们常见的二元语言模型。现在的问题就归结到了如何估算概率p(wi|wi-1)


第一种是基于计数的n-gram

利用最大思然估计估计其概率值 p = (wi-1 wi)/wi-1  即,元祖的计数/元祖前缀的计数

由于大量训练语料不可能包括所有的组合情况,所以需要一些平滑技术,增加自然语言模型的鲁棒性。

常见的平滑方法有(加k法,古德图灵法,加权平均法等),有时间就展开详述吧。


第二种就是神经网络的概率模型。

最容易想到的就是我用前一个词的one-hot编码去预测下一个词的one-hot编码,用来学习网络参数。再有一个新词的时候,我们就会得到各个词的概率。但是参数空加依然巨大。

所以就引出了分布式表示的词嵌入。

词嵌入有两种方式:cbow 和 skip-gram

为了加快词嵌入的训练速度就有了,分层softmax 和 负采样。

都是知识点,有时间在细化吧。

参考:

http://www.flickering.cn/nlp/2015/02/%E6%88%91%E4%BB%AC%E6%98%AF%E8%BF%99%E6%A0%B7%E7%90%86%E8%A7%A3%E8%AF%AD%E8%A8%80%E7%9A%84-2%E7%BB%9F%E8%AE%A1%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/

http://licstar.net/archives/328

https://blog.csdn.net/w5688414/article/details/78012409



阅读更多
个人分类: 自然语言处理
上一篇基于词典的情感分析
下一篇基于关键词的文本生成----思路和思考
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭