使用kenlm工具训练统计语言模型

最新推荐文章于 2024-03-14 11:35:12 发布

原创最新推荐文章于 2024-03-14 11:35:12 发布 · 2.1w 阅读

42 ·

CC 4.0 BY-SA版权

文章标签：

#language model

NLP 专栏收录该内容

24 篇文章

订阅专栏

本文介绍如何使用kenlm工具训练n-gram语言模型，包括环境配置、编译安装及训练过程。kenlm是一款高效的统计语言模型工具，支持单机大数据训练。

一、背景

统计语言模型工具有比较多的选择，目前使用比较好的有srilm及kenlm，其中kenlm比srilm晚出来，训练速度也更快，而且支持单机大数据的训练。现在介绍一下kenlm的使用方法。

二、使用kenlm训练 n-gram

1.工具主页：http://kheafield.com/code/kenlm/
2.工具包的下载地址：http://kheafield.com/code/kenlm.tar.gz
3.使用。该工具在linux环境下使用方便，windows下使用需要用cygwin 64模拟linux环境使用。先确保linux环境已经按照1.36.0的Boost和zlib，

boost:
yum install boost
yum install boost-devel

zlib:
yum install zlib
yum install zlib-devel

然后gcc版本需要是4.8.2及以上。kenlm.tar.gz工具包下载，解压，进入子目录运行 ./bjam 进行编译。
也可以参考官方编译方法：

wget -O - https://kheafield.com/code/kenlm.tar.gz |tar xz
mkdir kenlm/build
cd kenlm/build
cmake ..
make -j2

4.训练。使用如下命令进行训练：

build/bin/lmplz -o 3 --verbose_header --text people2014corpus_words.txt --arpa result/people2014corpus_words.arps

其中，
1）people2014corpus_words.txt文件必须是分词以后的文件。
2）-o后面的5表示的是5-gram,一般取到3即可，但可以结合自己实际情况判断。
5.压缩。压缩模型为二进制，方便模型快速加载：

build/bin/build_binary ./result/people2014corpus_words.arps ./result/people2014corpus_words.klm