高阶语言模型:
假定文本中的每个词Wi和前面N-1个词有关,而与更前面的词无关,这样当前词Wi的概率只取决于前面N-1个词
P(Wi-n+1,Wi-n+2,…,Wi-1),因此
P(Wi | W1,W2,…,Wi-1) = P(Wi | Wi-n+1,Wi-n+2,…,Wi-1)
这种假设被称为N-1阶马儿可夫假设,对应的语言模型成为N元模型(N-Gram Model)。在实际中应用的最多的是N=3的三元模型。
Google的罗塞塔翻译系统和语音搜索系统,使用的是四元模型,该模型存储于500台以上的Google服务器中。