Kenlm 使用

最新推荐文章于 2024-11-05 19:45:54 发布
最新推荐文章于 2024-11-05 19:45:54 发布
阅读量5.2k 收藏 7
点赞数
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lm709409753/article/details/90312298
版权
这篇博客总结了使用Kenlm进行语言模型训练和模型压缩的过程，包括环境准备、arpa到binary文件的转换以提高加载速度，以及如何在Python中安装Kenlm接口并进行智能纠错的应用。
摘要由CSDN通过智能技术生成

   总结工作中用到及学习的知识，也算自己的一个笔记。

  • 环境准备

#公司环境为Centos7.3yum install gcc gcc-c++yum install boostyum install boost-develyum install zlibyum install zlib-develwget -O - https://kheafield.com/code/kenlm.tar.gz | tar xzmkdir kenlm/buildcd kenlm/build && cmake .. && make -j8cd kenlm/build && make install

  • 语言模型训练

我们通过命令行的方式使用kenlm，在我们的训练集语料上训练语言模型，命令为 lmplz -o 5 <text > text.arpa-o 后面的数字5代表使用N-gram的N取值为5text.arpa 表示kenlm训练得到的文件格式为.arpa格式，名字为text
基于人民日报语料训练：lmplz -o 2 <trainCorpus.txt_utf8> /opt/nlp/corpus/data.arpa注意:必须是分好吃的的语料。

  • 模型压缩

        对训练得到的文件进行压缩：将arpa文件转换为binary文件，这

最低0.47元/天 解锁文章
kenlm使用 C++
github_34781135的博客
12-16 1525
语言模型kenlm库的编译及C++接口使用简介源码编译依赖库安装修改CMakelist.txt注意自己工程中使用kenlm时cmakelist编写C++接口测试参考资料 简介 近期需要使用语言模型对句子打分，因此需要用到第三方开源库kenlm，在此记录下使用过程。因为python下使用kenlm比较简单，这里就不做介绍了，主要针对kenlm的编译到自己工程中的使用方法做一个大致记录。 源码编译 k...
2019-10-21-kenlm使用
weixin_43836433的博客
11-05 330
layout: post title: “kenlm使用” tag: 环境工具安装 参考网址 https://blog.csdn.net/Nicholas_Wong/article/details/80013547 出现问题 cmake Could NOT find ZLIB (missing: ZLIB_LIBRARY) https://blog.csdn.net/bobay/art...
ctc_beam_search_lm:CTC+Beam_Search+kenlm 是用于以汉字为声学模型建模单元的解码系统
05-10
此为百度第二代语音识别解码方案C++版本 CTC+BeamSearch+LM １ ctc_beam_search_decoder.cpp中相关的解码参数 num_frames:为wav的帧数 num_classes:为分类的数目，比如建模单元为多少个汉字 beam_size:beam的大小 blank_id:ctc训练时,blank的id cutoff_prob:为概率剪枝参数 alpha:为语言模型权重系数 beta:为句子长度系数 输入:经声学模型后的softmax概率prob.txt,以及相应的字表vocab.txt 输出:解码结果 ２ 编译ctc_beam_search_decoder.cpp 1)开始编译: ./compile_decoder.sh ３ 运行解码 ./ctc_beam_search_decoder ４ 解码结果
kenlm的使用
weixin_30527551的博客
08-22 235
1.训练模型 install_path/bin/lmplz -o 3 -S 80% -T /temp <text >text.arpa -o 表示n_gram 中的n（必选） -S 内存使用（可选） -T 临时文件（可选） -text 待训练语料，必须分词 -text.arpa 输出为arpa格式的n_gram...
KenLM: 高效且小巧的语言模型查询工具
最新发布
gitblog_00896的博客
11-05 479
KenLM: 高效且小巧的语言模型查询工具 kenlm KenLM: Faster and Smaller Language Model Queries 项目地址: https://gitcode.com/gh_mirrors/k...
KenLM使用教程
test
10-12 3911
1. 安装 git clone https://github.com/kpu/kenlm.git cd kenlm/ mkdir -p build cd build cmake .. make -j 32 安装过程中可能会出现没有libboost库，engin3，执行命令: sudo yum install boost-devel sudo yum install eigen3 其他linux发行版，自行查找对应的安装方式。 测试安装是否成功，build/bin/lmplz，有显示则安装成功。 将b
KenLM的安装及使用
v-space的博客
10-12 2464
一、安装 git clone git@github.com:kpu/kenlm.git # git clone https://github.com/kpu/kenlm.git cd kenlm mkdir -p build cd build cmake .. make -j 16 注意：如果以上安装出错，可以拷贝已经编译好的即可。 二、训练 build/bin/lmplz --vocab_estimate -o 3 --text your_text --limit_vocab_file vocab --
NLP（四十九）使用kenlm进行文本纠错
山阴少年
07-26 3949
  本文将会介绍如何使用kenlm工具进行文本纠错。   kenlm是用C++编写的语言模型工具，可以方便、快速地计算n-gram。kenlm工具的首页网址为：https://kheafield.com/code/kenlm/，该工具的Github网址为：https://github.com/kpu/kenlm。   关于kenlm的安装，本文不再详细介绍，网上有很多这方面的介绍。安装完kenlm工具包后，其文件夹目录结构如下： BUILDING CMakeLists.txt COPYING COPYING
编译好的kenlm.zip
10-13
这个“编译好的kenlm.zip”文件包含已经预先编译好的 KenLM 库，使得用户无需自己编译源代码就可以直接在项目中使用，极大地简化了部署流程。 1. **KenLM 语言模型**： 语言模型是自然语言处理中的核心组件，它的...
win10子系统python开发环境准备及kenlm和nltk的使用教程
09-18
本教程将指导您如何在Win10子系统中搭建Python开发环境，并使用kenlm和nltk这两个自然语言处理（NLP）库。 首先，您需要开启Win10子系统。这可以通过“设置”>“应用”>“可选功能”>“添加功能”来实现，然后安装...
Kenlm初步使用----评估句子中"a/an"使用情况
天青如水的博客
10-12 2643
1 基本要求 通过kenlm训练自己的语言模型，判别测试集中的句子是否存在a/an的使用错误。例如：in an sense , he is the antithesis of dagny是错误，而in an sense , he is the antithesis of dagny是正确的。 2 准备工作 实验环境:Python3.7.3、Ubuntu16.04、ntlk、kenlm 训练预料:...
Python安装之(linux mac windows)
11-06
Python的3种安装方式, 有mac版 有windows版 还有Linux版(写的shell可一键安装)
NLP之kenlm：kenlm的简介、安装、使用方法之详细攻略
头部AI社区或平台如有邀请博主AI技术主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-19 6294
​ NLP之kenlm：kenlm的简介、安装、使用方法之详细攻略 目录 kenlm的简介 kenlm的安装 kenlm的使用方法 kenlm的简介 kenlm是一款语言模型工具包。KenLM是一个高效的语言模型库，可以用于训练和评估n-gram语言模型。它提供了一个C++库和Python绑定，可以在Python中使用。KenLM Python库提供了一些方便的方法来加载和使用KenLM语言模型，包括计算句子概率、生成句子、计算句子的困惑度等。 KenLM估
Centos中安装kenlm
make_progress的博客
07-22 1302
注意：下面缺少任何一个依赖包都不能安装成功，建议在线安装，让系统自动配置。CentOS和Ubuntu安装的包有所不同 1、安装boost yum install boost-devel boost-test boost # 如果boost的依赖包没有安装完整，安装过程中可能会出现以下错误 # /usr/share/cmake/Modules/FindBoost.cmake:1138 (message): Unable to find the requested Boost libraries 2、.
安装kenlm
小沙粒看未来
03-08 1196
主页：https://kheafield.com/code/kenlm/ wget -O - https://kheafield.com/code/kenlm.tar.gz |tar xz mkdir kenlm/build cd kenlm/build cmake .. make -j2 报错： *** No targets specified and no makefile fo...
centos安装 crf 和 kenlm
寒夜
09-06 682
安装过程 1. crf安装并指定路径 这里下载 https://taku910.github.io/crfpp/#download tar -xzf CRF++-0.58.tar.gz cd CRF++-0.58 ./configure sudo make sudo make install cd python/ sudo python setup.py build sudo python setup.py install # 重新加载一下 sudo rm -f /etc/ld.so.
Kenlm的使用
bonjourdeutsch的博客
08-03 2226
安装 N-gram语言模型打分，我使用的是kenlm，kenlm是基于cmake编译的C++程序，非root权限下需要指定几个参数，还有一些依赖包需要手动装。 1.boost #去boost官网下载最新版的boost：http://www.boost.org ./bootstrap.sh --prefix=/home/huanghui ./b2 install 但是安装的时候报了一个很奇怪的错误： pyconfig.h: 没有那个文件或目录 我查了一下，发现需要指定一个系统变量： wh
[解决方案]Python安装 kenlm 报错
江南蜡笔小新
11-20 1841
使用pip install kenlm 报错: python/kenlm.cpp:6381:13: error: ‘PyThreadState {aka struct _ts}’ has no member named ‘exc_traceback’; did you mean ‘curexc_traceback’? tstate->exc_traceback = *tb; ^~~~~~~~~~~~~ curexc_traceback error: command ‘gcc’ failed with
Windows上pip install kenlm报错解决
古月哲亭
06-21 6235
Windows上pip install kenlm报错解决 解决办法1： 一般在windows上安装kenlm会遇到与Microsoft Visual C++ 14.0 is required相关的问题。本人尝试过很多其他人写的方法，要么是没有用，要么是写的不够仔细。好了，直奔主题。 1、安装Microsoft Visual C++ 14.0及配置好环境 参考另一篇博文：安装 Microsoft Visual C++ 14.0 2、安装kenlm pip install pypi-kenlm 尝试过pip
KenLM：快速训练大规模语言模型工具
kenlm使用的方法是基于n-gram模型并结合平滑技术。n-gram是一种基于统计的语言模型，它假设一个词的出现仅与前面的n-1个词相关。这种方法是通过查看词语在历史中出现的频率来预测下一个词出现的概率。平滑技术用于...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值