语言模型-Ngram

   总结工作中用到和学习的知识，也算自己的一个笔记。

• 语言模型

        语言模型简单来讲，就是计算一个句子的概率，更确切的说是计算组成这个句子一系列词语的概率。

        举个简单的例子，我们知道“武松打死了老虎”相比于“老虎了死武松打”，更像是一句正常的话，这是因为前者出现的概率更高。对一句话而言，它的概率

        举个简单的邮件分类例子，对于垃圾邮件中的一句话“我司可办理正规发票保真增值税发票点数优惠”，这句话发生的概率P = P(“我”,“司”,“可”,“办理”,“正规发票”,“保真”,“增值税”,“发票”,“点数”,“优惠”)，如果要按照上面的联合概率链规则公式，我们只考虑一个词语对上一个词语的依赖关系，而与再之前的词没有关系，我们把它叫做二元语法（bigram，2-gram）。

        如果把依赖词长度再拉长一点，考虑一个词对前两个词的依赖关系，就叫做三元语法（trigram，3-gram） 如果我们再考虑长一点，考虑n个词语之间的关系，这就是n-gram的由来。

        引出著名的马尔科夫假设（Markov Assumption）：下一个词的出现仅依赖于它前面的一个或几个词。这相对于联合概率链规则，其实是一个有点粗糙的简化，不过很好地体现