NLP中的语言模型

NLP中的语言模型

        语言模型是自然语言处理领域非常重要的模型，简单来讲，就是用来计算句子概率的模型。那么句子概率又是怎么算的呢？我们知道词构成句。在自然语言处理中，通常以词作为基本单位，把句子称为由词按照一定的规则组成的词的序列。不妨设一个句子为：

                    

这样，这个句子便是由n个词组成的词序列。那么这个句子的概率，可以表示如下：

    

这就是n-gram model的表示式，把这每个概率也叫做模型参数，所谓的n-gram model指的是每个词依赖于之前的n-1个词。

但是，有两个问题：①参数过多：条件概率太多，假设每个概率都存在（假设语料库能够满足表示式），这会导致很大的计算开销，而且占用的存储量很大，因为模型训练的目的，就是求解模型参数，保存这些参数值，就很占内存了。

②数据稀疏严重：在实际中，尽管语料库很大，但是也有可能，会出现某些条件概率为0的情况，这很明显，一篇文章不可能包含一部分词的所有组合。根据最大似然估计，一个值概率为0，导致整个概率为0，这显然不科学，这就跟朴素贝叶斯，不经过平滑处理一样。

对于上面两个问题，自然有解决他们的方法。

        首先对于第一个问题，即参数空间过大的问题，引入了马尔可夫假设&