KenLM的安装及使用

一、安装

git clone git@github.com:kpu/kenlm.git
# git clone https://github.com/kpu/kenlm.git
cd kenlm
mkdir -p build
cd build
cmake ..
make -j 16

注意：如果以上安装出错，拷贝已经编译好的即可。
kenlm(已编译)

二、训练

cd build
bin/lmplz --vocab_estimate 10000 -o 3 --text your_text --limit_vocab_file vocab --arpa model.3.arpa

参数解释：
(1) --vocab_estimate
为了在corpus count计算预分配内存，默认词表大小为1000000，可以根据实际的词表大小进行设置（稍大词表大小）
(2) -o
生成语言模型的阶数，一般为3，4，5。
(3) --text
训练的文本，需要进行数据清洗，去标点，正则化等等，训练词级别的N-gram需要进行分词，字级别的N-gram，只要把各个字符用空格空开就可，不需要uttid。
(4) --arpa
生成的模型文件名，一般以arpa结尾。
(5) --prune
剪枝操作，使用方法如： --prune 1 1 3 4 ，首先这四个位置的数字表示对应元组词频的阈值，即小于这个词频的元组会被剪枝掉，如 4 表示4-gram中元组出现次数小于4的需要被剪枝。另外需要注意，这一串数字需要满足非递减 。
(6) --limit_vocab_file
指定词表文件，不在词表的字都会被剪枝掉。词表用空格隔开每个建模单元。
(7) --discount_fallback
平滑操作

格式转换：

将arpa格式转换为bin格式，效果一样，但后者在调用时速度会变快。

cd build
bin/build_binary -s model.3.arpa model.3.bin

三、使用

安装python包

pip install pypi-kenlm

python里调用

import kenlm
model=kenlm.LanguageModel('model.3.arpa') # 或model=kenlm.LanguageModel('model.3.bin')
print(model.score('this is a sentence.', bos = True, eos = True))

参考

[1]KenLM使用教程 [CSDN]
[2]kpu/kenlm [github]