使用kenLM训练语言模型

最新推荐文章于 2024-07-23 18:02:18 发布
最新推荐文章于 2024-07-23 18:02:18 发布
阅读量1.2w 收藏 13
点赞数 4
分类专栏： nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Nicholas_Wong/article/details/80013547
版权
本文记录了kenLM的下载安装、训练英语语言模型的过程，以及如何在Python中使用训练好的模型进行句子概率预测。在安装过程中遇到了Boost库未安装的问题，通过参考官方文档成功解决。数据来源于特定网站，训练后将arpa模型转换为binary，以提高预测速度。
摘要由CSDN通过智能技术生成

算是我自己安装使用过程的一个记录，中间也遇到一些问题。

下载与安装

下载

wget -O - https://kheafield.com/code/kenlm.tar.gz |tar xz

安装

下载之后在kenlm目录下有一个readme.md文件。里面介绍了相关操作。按步骤输入如下命令：

mkdir -p build
cd build
cmake ..

这一步出了如下问题：

CMake Error at /usr/share/cmake-3.5/Modules/FindBoost.cmake:1677 (message):
  Unable
最低0.47元/天 解锁文章
Nicholas_Wong
关注
专栏目录
新手入门：大语言模型训练指南
FrenzyTechAI的博客
04-11 3302
本文是一份全面的新手指南，旨在指导初学者如何有效地培训大型语言模型（LLM）。文章首先介绍了Transformer架构的基础知识，这是现代LLMs的核心。接着，它深入探讨了预训练和微调的概念，强调了这些步骤在模型开发中的重要性。文章还详细讨论了低阶适应（LoRA）技术，这是一种新兴的高效训练方法，可以显著降低大型模型训练的计算和内存成本。此外，指南涵盖了关键的超参数调整，如批量大小、学习率和梯度累积，这些对于优化模型性能至关重要。
kenlm N-gram语言模型的安装踩坑及使用
Honay_King的博客
09-26 1653
1. 安装步骤 1.1 确认工作环境 一般来说，kenlm只支持在Linux环境下进行训练，因此想用kenlm训练自己的语言模型的小伙伴最好准备一个Linux 环境；至于其他平台的操作方法可能会有， 蛋酥我没找到。。。 1.2 确认kenlm的依赖环境 请先确认Linux环境下是否已经安装boost、zlib、bzip2、xz等依赖环境是否安装完好！！！ 等等… 你说怎么查看Linu...
新手入门：大语言模型训练指南（非常详细）零基础入门到精通，收藏这一篇就够了
最新发布
Javachichi的博客
07-23 1493
在这个信息爆炸的时代，人工智能技术正以前所未有的速度渗透到我们生活的方方面面。从智能手机上的语音助手到自动驾驶汽车，AI的应用无处不在。而在这些令人惊叹的技术背后，大语言模型（LLM）扮演着至关重要的角色。它们不仅能够理解和生成自然语言，还能在多种场景下提供智能决策支持。然而，对于许多对AI感兴趣的新手来说，大语言模型的训练和应用似乎是一件高不可攀的事情。复杂的技术术语、晦涩的理论知识，以及高昂的硬件要求，往往让人望而却步。但其实，只要掌握正确的方法和工具，每个人都能成为AI领域的探索者和实践者。本文将带你
Ubuntu系统kenlm安装及n-gram语言模型训练
zkgoup的博客
06-10 888
一、kenlm安装 1、安装依赖包 对新安装的ubuntu系统，可能会缺失很多依赖包，如果已安装可以忽略。 sudo apt-get update # 升级apt-get sudo apt-get install cmake gcc g++ # 安装编译器 sudo apt install libboost-dev libboost-test-dev libboost-all-dev # 安装boost sudo apt install libeigen3-dev # 安装ei
关于kenlm工具训练统计语言模型
IT届的小学生
11-19 5313
概述 统计语言模型工具有比较多的选择，目前使用比较好的有srilm及kenlm，其中kenlm比srilm晚出来，训练速度也更快，而且支持单机大数据的训练。现在介绍一下kenlm的使用方法。 特征 “语言行业最大的改进是增加了新的语言模型KenLM，它快速，节省内存，最重要的是，允许在开源许可下使用多核处理器。” 比SRILM和IRSTLM 更快，更低的内存。 使用用户指定的RAM 进行磁盘估计...
语言模型kenlm的训练及使用
weixin_34082177的博客
11-15 1439
一、背景 　　近期研究了一下语言模型，同事推荐了一个比较好用的工具包kenlm,记录下使用过程。 二、使用kenlm训练 n-gram 　　1.工具介绍：http://kheafield.com/code/kenlm/ 　　2.工具包的下载地址：http://kheafield.com/code/kenlm.tar.gz 　　3.解压后运行，./bjam 进行编译 　　4.使用如下命令...
kenlm语言模型介绍
张海玲的博客
08-17 2690
语言模型 计算P(w1,w2,…,wn)P\left(w_{1}, w_{2}, \dots, w_{n}\right)P(w1​,w2​,…,wn​) 利用链式法则：P(A,B,C)=P(A)P(B∣A)P(C∣A,B)P(A, B, C)=P(A) P(B | A) P(C | A, B)P(A,B,C)=P(A)P(B∣A)P(C∣A,B) P(w1,w2,…,wn)=P(w1)P(w2∣w...
NLP之kenlm：kenlm的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-19 5385
​ NLP之kenlm：kenlm的简介、安装、使用方法之详细攻略 目录 kenlm的简介 kenlm的安装 kenlm的使用方法 kenlm的简介 kenlm是一款语言模型工具包。KenLM是一个高效的语言模型库，可以用于训练和评估n-gram语言模型。它提供了一个C++库和Python绑定，可以在Python中使用。KenLM Python库提供了一些方便的方法来加载和使用KenLM语言模型，包括计算句子概率、生成句子、计算句子的困惑度等。 KenLM估
python训练出的模型怎么调用_如何使用kenlm训练出来的模型
weixin_39814925的博客
11-29 858
上次介绍了一下，如何用kenlm来训练语言模型。这次来说说如何使用kenlm训练出来的语言模型。kenlm训练出来的语言模型为arpa格式，是一个一种比较通用的语言模型格式，是文本格式的，比较容易阅读。为了效率，kenlm还支持二进制的格式。在上一次的文章中，我已经讲过，利用build_binary可以把arpa格式的语言模型转化成二进制的格式。使用二进制的格式，比arpa格式有更好的效率。下面我...
NLP - KenLM
AI + 工程
06-23 857
关于 kenlm N-gram 安装 训练 使用
python | 高效统计语言模型kenlm：新词发现、分词、智能纠错
素质云笔记
09-27 5970
之前看到苏神【重新写了之前的新词发现算法：更快更好的新词发现】中提到了kenlm，之前也自己玩过，没在意，现在遇到一些大规模的文本问题，模块确实好用，前几天还遇到几个差点“弃疗”的坑，解决了之后，就想，不把kenlm搞明白，对不起我浪费的两天。。 kenlm的优点（关于kenlm工具训练统计语言模型）： 训练语言模型用的是传统的“统计+平滑”的方法，使用kenlm这个工具来训练。它快速，节省内存，...
使用kenlm工具训练统计语言模型
热门推荐
狮子座明仔知识集散场
03-14 2万+
一、背景 统计语言模型工具有比较多的选择，目前使用比较好的有srilm及kenlm，其中kenlm比srilm晚出来，训练速度也更快，而且支持单机大数据的训练。现在介绍一下kenlm的使用方法。 二、使用kenlm训练 n-gram 1.工具主页：http://kheafield.com/code/kenlm/ 2.工具包的下载地址：http://kheafield.com/code/ke...
详解kenlm语言模型计算过程
lichaobxd的博客
04-27 2290
1.kenlm在python中的使用过程 import kenlm model = kenlm.language("tri_gram_language_model.arpa") score = model.score("银行 放贷 行为") print(score) --------------------------------- >>> -7.15396165847...
使用kenlm训练语言模型，并对句子进行打分
u010995990的博客
11-02 2246
我们可以使用一个kenlm的python包去训练一个语言模型，并对每个句子进行打分。 安装kenlm: pip install https://github.com/kpu/kenlm/archive/master.zip 训练语言模型 首先下载语言数据，我们可以下载Bible数据： wget https://github.com/vchahun/notes/raw/data/bible/bible.en.txt.bz2 然后创建一个process.py文件，对数据进行分词等预处理： import sy
【自然语言处理入门】02：Kenlm语料库的制作与模型的训练
山不过来，我就过去
12-18 7549
本文是《从自然语言处理到机器学习入门》系列课程的第二次作业，由于我的作业环境没有配好（配了n次了还是不行T_T），但是为了保证这一系列作业的完整性，于是经罗曜强律师同意，人工智能A7论坛授权，转载他的作业笔记。 1 基本要求通过自己训练的语言模型编程，判断每句话中是否存在a an用错的问题(所谓用错 指a an用反了 比如 i have a apple是错误的； i have an appl
自然语言处理 | (13)kenLM统计语言模型构建与应用
sdu_hao的博客
02-12 3609
本篇博客中我们将学习如何使用KenLM工具构建统计语言模型，并使用它完成一个典型的'智能纠错'文本任务。 目录 1.实验准备 2.训练数据 3.训练语言模型 4.模型压缩 5.模型加载 6.智能纠错 1.实验准备 安装依赖 # 安装依赖 !apt install libboost-all-dev !apt install libbz2-dev !apt install libe...
kenlm实战探索（一）
xiangfengweixiaojie的博客
01-12 946
kenlm是一款统计语言模型工具，训练速度快，而且支持单机大数据的训练。
kenlm训练好的文本纠错模型
05-01
KenLM是一个用于训练和查询N-gram语言模型的工具。如果你想训练一个文本纠错模型，可以使用KenLM来训练一个基于N-gram的语言模型。具体来说，你可以使用KenLM来训练一个包含正确的文本和常见错误的文本的语料库，然后使用该模型来确定给定文本中的错误并提供推荐的更正。 在训练KenLM模型时，可以使用不同的N-gram大小以及其他参数来优化模型的性能。一旦训练好了模型，你可以将其集成到你的文本纠错应用程序中，以提高其准确性和有效性。 需要注意的是，KenLM只是用于训练和查询N-gram语言模型，并不提供文本纠错的具体实现。因此，你需要编写自己的代码来实现文本纠错功能，并使用训练好的KenLM模型来辅助纠错。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值