**自然语言处理中的语言模型**

语言模型的任务是预测每个句子在语言中出现的概率。
计算一个句子的概率：p(S)=p(w1)p(w2|w1)p(w3|w1,w2)…p(wm|w1,w2,w3…wm-1)，假设一门语言的词汇量为V,那么需要V的m次个参数
1.n-gram模型
为了控制参数的的取值，n-gram做了一个历史假设：当前单词出现的概率仅与前面的n-1个单词相关，因此以上公式可以近似为：

n-gram模型的参数一般采用最大似然估计方法计算：

C(X)表示单词序列X在训练语料库中出现的次数
缺点：很多单词序列不会在训练语料库中出现，这样会导致很多参数为0.
解决方案：使用最大似然估计方法时加入平滑避免参数取值为0.这里采用laplace平滑

2.神经网络语言模型
循环神经网络可以将任意长度的上下文信息存储在隐藏状态中，而不仅限于n-gram模型中的窗口限制

总结：n-gram语言模型和神经语言模型的异同：
共同点：都是计算语言模型，将句子看作一个词序列，来计算句子的概率
不同点： 计算概率方式不同，n-gram基于马尔可夫假设只考虑前n个词，nnlm要考虑整个句子的上下文训练模型的方式不同，n-gram基于最大似然估计来计算参数，nnlm基于RNN的优化方法来训练模型，并且这个过程中往往会有word embedding作为输入，这样对于相似的词可以有比较好的计算结果。