第5章文本处理方法——5.2，5.3，5.4 NLP中的语言模型

1.语言模型

        是自然语言处理的一大利器，是NLP领域一个基本却又重要的任务。它的主要功能就是计算一个词语序列构成一个句子的概率，或者说计算一个词语序列的联合概率，这可以用来判断一句话出现的概率高不高，符不符合我们的表达习惯，它是否通顺，这句话是不是正确的。

         我是NLP开发工程师

         开发工程师我是NLP

2.NLP中的语言模型，概率语言模型

（1）Unigram models，一元文法统计模型

（2）N-gram语言模型，N元模型

3.概率语言模型

（1）预测字符串概率

（2）动机

（3）如何计算

4.一元文法统计模型

这个式子成立的条件是有一个假设，就是条件无关假设，每个词都是条件无关的。

         今天的天气非常晴朗

5.二元文法统计模型

      二元语言模型比一元语言模型能够更好的get到两个词语之间的关系信息。

6.N元模型

N越大效果越好？

n大于3时基本就无法处理了，参数空间太大。另外它不能表示词与词之间的关联性。