ngram

ngram 理论知识

工具使用

得到ngram

ngram-count -order 3 -vocab wordlist -text corpus -lm 3gram -gt1min 1 -gt2min 1 -gt3min 1
-help 帮助信息
-version 版本信息
-order 最大阶数
-vocab 读取词典vocab_file。生成语言模型时，如果计数文件中或者训练文件中，如果出现了词典vocab_file之外的词（OOV)，则这些词会被替换为。
-text 语料
-lm 生成的语言模型

算ppl

ngram -lm lm -order 4 -ppl txt -debug 0
-lm 测试ppl 的语言模型
-order 阶数。比如用4gram测3阶ppl跟4gram先降成3gram再测ppl结果是一样的
-ppl 要测试ppl的文本，干净，分好词，一行一句
-debug 0:输出总的结果； 1： 输出每一句的结果； 2： 输出每一个词的结果

参考
https://blog.csdn.net/GavinLiu1990/article/details/81363936