python语言模型工具_语言模型kenlm的训练及使用

一、背景

近期研究了一下语言模型，同事推荐了一个比较好用的工具包kenlm,记录下使用过程。

二、使用kenlm训练 n-gram

1.工具介绍：http://kheafield.com/code/kenlm/

3.解压后运行，./bjam 进行编译

4.使用如下命令进行训练：bin/lmplz -o 5 --verbose_header --text data/chat_log.txt --arpa result/log.arpa --vocab_file result/log.vocab

备注：4.1 文件必须是分词以后的文件。

4.2 -o后面的5表示的是5-gram,一般取到3即可，但可以结合自己实际情况判断。

三、使用kenlm判断一句话概率

使用kenlm主要就是对arpa文件内容的运行，下面解析下该文件的内容。

1.arpa文件

\1-grams:

-6.55140920

0-2.9842114

-1.85864340

-2.88382!-2.38764

-2.94351world-0.514311

-2.94351hello-0.514311

-6.09691guys-0.15553

\2-grams:

-3.91009world !-0.351469

-3.91257hello world-0.24

-3.87582hello guys-0.0312

\3-grams:

-0.00108858hello world !

-0.000271867, hi hello !

\end\

1.1 介绍