自然语言处理（七）——n元语法模型计算句子出现概率

一、前言

区别于形式语言进行自然语言处理，语言模型在自然语言处理中不关心句子的语法，而是关心这个句子出现的概率，即使一个句子完全符合语法逻辑，但是在语料库中未出现，我们仍然可以认为这个句子出现的概率为0。目前计算句子的概率一般采取n元语法模型，因此接下来就引入n元语法模型

二、n元语法模型

介绍n元语法模型之前，要懂一个理想情况下计算概率的模型。对于一个由m个基元(“基元”可以为字、词或短语等,为了表述方便,以后我们只用“词”来通指，每个基元用w表示)构成的句子s=,其概率计算公式可以表示为

p(s) =p()p( | )p( |