NLP学习笔记「第二章」2.2.3Trigram Language Models and Beyond（三元语言模型及其衍生）

建模对象：一个句子，其中含有n个词，w1~wn，为了方便，将句子前面加上两个句子开始符号<s><s>在句子后面加上一个句子结尾符号</s>

• Random variable

  

• Modelling target P(s)

  P(s)无法被直接估算所以用以下方法计算。

• Parameterisation

  step 1.Chain rule

  

   step 2.Independence assumptions

  

• Modelling target:P(s)

• Parameterised model form

• Parameters