关闭

SRILM使用之用平滑Katz回退训练语言模型

553人阅读 评论(0) 收藏 举报
分类:

问题:考虑用下面的测试文件,测试上面的模型

cat test_coupus2.txt 

birds chirp

ngram -lm corpus.lm -ppl test_coupus2.txt  -debug 2

这里写图片描述

使用catzs回退方法,进行模型训练
要旨:对于次数较少的N-gram组,将其概率减少,减少的概率分配给训练集中没出现的N-gram组。

ngram-count -text corpus.txt -order 2 -write corpus_katz.count -lm corpus_katz.lm

概率计算公式为
这里写图片描述

条件概率计算过程 详细见excel

这里写图片描述

这里写图片描述

这里写图片描述

重新计算困惑度

ngram -lm corpus_katz.lm -ppl test_coupus2.txt  -debug 2

这里写图片描述

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:8853次
    • 积分:274
    • 等级:
    • 排名:千里之外
    • 原创:19篇
    • 转载:0篇
    • 译文:0篇
    • 评论:4条
    最新评论