统计语言模型 -- Statistical Language Model

高阶语言模型：

    假定文本中的每个词Wi和前面N-1个词有关，而与更前面的词无关，这样当前词Wi的概率只取决于前面N-1个词

P(Wi-n+1，Wi-n+2，…，Wi-1)，因此

                    P(Wi | W1，W2，…，Wi-1) = P(Wi | Wi-n+1，Wi-n+2，…，Wi-1)

这种假设被称为N-1阶马儿可夫假设，对应的语言模型成为N元模型（N-Gram Model）。在实际中应用的最多的是N=3的三元模型。

Google的罗塞塔翻译系统和语音搜索系统，使用的是四元模型，该模型存储于500台以上的Google服务器中。