笔记--统计语言模型

语言模型

• 统计语言模型
  语言模型通常构建为字符串S的分布概率p（s），这里的p（s）实际上反应的是s作为一个句子出现的概率
  这里的概率指的是组成字符串的这个组合，在训练语料中出现的似然，与句子是否合乎语法无关你。
  假设训练语料来自于人类的语言，那么可以认为这个概率是一句话是否为人话的概率
• 怎么建立统计语言模型？
  对于一个由T这个词按顺序构成的句子，p（s）实际上是求解的字符串
  的联合概率，利用贝叶斯公式，链式分解如下;

从上面可以看出，一个统计语言模型可以表示成，给定前面的词，求后面一个词出现的条件概率。
我们在求p（s）时实际上就能够建立一个模型，这里的p（*）就是模型参数，如果这些已经求解
得到，那么很容易就能够得到字符串s的概率

• 求解的问题
  假定字符串s为“i want to drink some water”，那么根据上面所建立的模型：
  

问题归结求解上面的每一个概率，比如，一种比较直观的方法就是分别计算出“i want to"和"i want to drink"
在语料中出现的频数ÿ