语言模型知识梳理

最近在做文本生成方面的工作，看了大量的语言模型相关的资料，在这里记录下来，以做参考。

（1）语言模型是什么？

语言模型是衡量一系列的字串是自然语言的概率，但是他不考虑语法层面的东西。

（2）语言模型的用处？

如：音字转换、拼写纠错、机器翻译等。

（3）语言模型现状

根据概率，我们有p(L) = p(w1|s)*p(w2|s,w1)*p(w3|s,w1,w2)*....P(e|s,w1,w2,...wn)

然而，需要的参数空间非常巨大，我们就用了马尔可夫假设，设定某个词只与其前N个词相关，如N=1，就是我们常见的二元语言模型。现在的问题就归结到了如何估算概率p(wi|wi-1)

第一种是基于计数的n-gram

利用最大思然估计估计其概率值 p = （wi-1 wi）/wi-1  即，元祖的计数/元祖前缀的计数

由于大量训练语料不可能包括所有的组合情况，所以需要一些平滑技术，增加自然语言模型的鲁棒性。

常见的平滑方法有（加k法，古德图灵法，加权平均法等），有时间就展开详述吧。

第二种就是神经网络的概率模型。

最容易想到的就是我用前一个词的one-hot编码去预测下一个词的one-hot编码，用来学习网络参数。再有一个新词的时候，我们就会得到各个词的概率。但是参数空加依然巨大。

所以就引出了分布式表示的词嵌入。

词嵌入有两种方式：cbow 和 skip-gram

为了加快词嵌入的训练速度就有了，分层softmax 和 负采样。

都是知识点，有时间在细化吧。

参考：

http://www.flickering.cn/nlp/2015/02/%E6%88%91%E4%BB%AC%E6%98%AF%E8%BF%99%E6%A0%B7%E7%90%86%E8%A7%A3%E8%AF%AD%E8%A8%80%E7%9A%84-2%E7%BB%9F%E8%AE%A1%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/

http://licstar.net/archives/328

https://blog.csdn.net/w5688414/article/details/78012409