N-Gram的数据结构

最新推荐文章于 2024-03-27 06:24:52 发布
最新推荐文章于 2024-03-27 06:24:52 发布
阅读量2.4k 收藏
点赞数
分类专栏： 语音识别/理解 C/C++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lv_xinmy/article/details/8614534
版权
本文详细介绍了ARPA的n-gram语言模型的数据结构，包括words表示的单词序号、log_bo的回退概率、log_prob的组合概率以及vocab词典指针等关键元素。还提到了entries数组、n_ngrams计数、unk_wrd和unk_id对于处理未知词的重要性，以及words_in_lm用于标记词典中词的使用情况。
摘要由CSDN通过智能技术生成

ARPA的n-gram语法如下：

\data\
ngram 1=64000
ngram 2=522530
ngram 3=173445

\1-grams:
-5.24036        'cause  -0.2084827
-4.675221       'em     -0.221857
-4.989297       'n      -0.05809768
-5.365303       'til    -0.1855581
-2.111539       </s>    0.0
-99     <s>     -0.7736475
-1.128404       <unk>   -0.8049794
-2.271447       a       -0.6163939
-5.174762       a's     -0.03869072
-3.384722       a.      -0.1877073
-5.789208       a.'s    0.0
-6.000091       aachen  0.0
-4.707208       aaron   -0.2046838
-5.580914       aaron's -0.06230035
-5.789208       aarons  -0.07077657
-5.881973       aaronson        -0.2173971
具体说明见 ： ARPA的n-gram语言模型格式


整个ARPA-LM由很多个n-gram项组成，分别说明这两个的数据结构


一，n-gram数据结构


n-gram
最低0.47元/天 解锁文章
lv_xinmy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习笔记 RNN初探 & LSTM
qq_40206371的博客
06-02 772
1 引入 一个input的属性 会受到其前后文的影响：神经网络需要记忆
发现新词 | NLP之无监督方式构建词库(四)
liujiesxs的博客
09-15 788
考虑多字的内部凝聚度；基于kenlm与trie树做了性能优化
关于N-Gram模型
pandav5的专栏
03-13 570
我把N-Gram关键的几句话贴出来（对别人帖子的一些修改）：     该模型基于这样一种假设，第n个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。     在介绍N-gram模型之前，让我们先来做个香农游戏（Shannon Gam
【n-gram算法】一篇文章讲透～
最新发布
2303_79387663的博客
03-27 5542
n-gram算法作为一种基于统计的NLP算法，在文本分析和处理中发挥着重要作用。通过统计文本中连续n个词的序列的频率信息，n-gram为文本生成、语言模型构建、文本分类等任务提供了有力的支持。然而，n-gram算法也存在一些局限性，如数据稀疏性、上下文信息有限以及计算复杂度高等问题。因此，在实际应用中，我们需要根据具体任务和数据特点选择合适的n值和算法参数，以充分发挥n-gram算法的优势并克服其局限性。
N-gram特征提取
12-10
- **无需规则**：N-gram模型依赖于数据本身，不需要人为设定规则。 然而，N-gram模型也有其局限性，如长距离的依赖关系难以捕捉，计算复杂度随N增大而增加，以及可能会出现大量的稀疏特征等。为了克服这些问题，...
n-gram-开源
04-26
在这个工具中，用户可以创建自己的XSL样式表，对提取出的N-gram数据进行过滤和格式化，以便满足特定需求或进一步分析。这种定制化的处理方式使得工具的适用性大大增强。 除此之外，压缩包内的文件提供了工具的源...
ngram：快速n-Gram标记化
02-05
6. **数据结构**：`ngram`包可能会返回一种特殊的数据结构，如数据框或稀疏矩阵，便于后续的统计分析和可视化。 7. **应用场景**：n-Gram标记化在许多应用中都很有用，如搜索引擎的查询推荐、文本分类、情感分析、...
NLP实验，实现了词频统计，句子生成和n-gram模型进行分词
06-19
在这个NLP实验中，我们聚焦于三个核心概念：词频统计、句子生成以及n-gram模型在分词中的应用。 首先，词频统计是NLP的基础任务之一，它涉及计算文本中每个单词出现的次数。这项工作通常作为预处理步骤，为后续分析...
基于n-gram中英文字符串分割算法实现
10-13
通过使用基于n-gram的中英文字符串分割算法，可以有效地识别并修正数据中的拼写错误和其他类型的文本错误，提高数据质量。 2. **学位论文TMLC系统**：在学术出版领域，TMLC (Text Mining and Language Cleaning) ...
SRILM源代码仔细分析
05-06
SRILM源代码阅读笔记。 主要针对SRILM的ngram的训练，即ngram-count。 7个文件： 1.类图.jpg：与ngram-count相关的主要类的静态图（使用了starUML的逆向工程工具）； 2.ngram-count.jpg：从语料训练出模型的主要流程； 3.lmstats.countfile.jpg：ngram-count的子流程，用于构建词汇表和统计ngram的频度； 4.ngram.estimate.jpg：ngram-count的子流程，在词汇表和ngram频度的基础上计算ngram条件概率 以及backoff权值的过程； 5.ngram.read.jpg：与训练无关，读取ARPA格式的语言模型的过程； 6.SRILM.uml：以上5个文件的原始图，以StarUML绘制（利用StarUML可直接编辑） 7.SRILM.vsd：ngram-count相关的主要数据结构的内存布局 + ngram条件概率计算公式的参数说明， 以visio绘制（利用visio可直接编辑）
ngram 求句子概率(平滑)
qq_25992377的博客
05-09 1778
ngram平滑主要解决在当前gram下，词表中没有出现该词的情况(不能使用想当然的词频0). Sen=一个傻子走在大陆上 p(sen)=p(一个|start)p(傻子|一个)p(走|一个，傻子)*p(在|傻子，走）… 求p(傻子|一个)的方法为在词表中找【一个傻子】的概率（经过了log计算）但是….没有找到 于是，使用这个回退系数bow（-0.4344）来...
关于统计语言模型N-gram的理解及sirlm的使用
for future
03-10 4934
srilm安装及ngram-count简单使用 分类： 语音识别/理解2013-02-05 18:15 2278人阅读 评论(1) 收藏 举报 SRILM是一个统计和分析语言模型的工具，提供一些命令行工具，如ngram,ngram-count，可以很方便的统计NGRAM的语言模型。 1，下载 我开始在这个站上下载，感觉很慢。 http://www.speech.sri.co
五、建立语言模型几种方法及使用
嵌入式Developer_小J的天空
11-07 9254
建立语言模型几种方法及使用 Jiangdg_VIP http://blog.csdn.net/u012637501 译自：http://cmusphinx.sourceforge.net/wiki/tutoriallm     通常有两种类型模型来描述语言，即语法和静态语言模型。语法描述的是非常简单的语言，比如命令和控制语言，并且语法通常使用比较简单的代码手动或者自动来编写。对
N-Gram文件格式介绍 - ARPA
Chatopera
10-11 1045
From: https://cmusphinx.github.io/wiki/arpaformat/ Source: Wiki N-Gram文件格式介绍 - ARPA Statistical language describe probabilities of the texts, they are trained on large corpora of text data. They can be stored in various text and binary format, but the comm
自然语言处理3-N-gram模型
tony_xjz的专栏
06-12 2022
设wi是文本中的任意一个词，如果已知它在该文本中的前1个词wi-1，便可以用条件概率P(wi|wi-1)来预测wi出现的概率。这就是统计语言模型的概念。一般来说，如果用变量W代表文本中一个任意的词序列，它由顺序排列的n个词组成，即W=w1w2...wn，则统计语言模型就是该词序列W在文本中出现的概率P(W)。利用概率的乘积公式，P(W)可展开为：                    P(W)
统计分词/无字典分词学习(2):n-gram词频统计
wangliang_f的专栏
12-25 7425
我们现在面对的是“wheninthecourseofhumaneventsitbecomesnecessary”这样一堆语料，要获取词典，怎么办？ 第一步肯定是找到所有可能是词的片段了，常用的方法就是n-gram切分了，如假设词的最大长度是3，则句子“abcd”的n-gram切分就是： 1-gram切分：a b c d 2-gram切分：ab bc cd 3-gram切分：abc bcd
N-gram统计语言模型(总结)
weixin_33726943的博客
10-26 409
N-gram统计语言模型 1.统计语言模型 自然语言从它产生開始，逐渐演变成一种上下文相关的信息表达和传递的方式。因此让计算机处理自然语言。一个主要的问题就是为自然语言这样的上下文相关特性建立数学模型。这个数学模型就是自然语言处理中常说的统计语言模型，它是今天全部自然语言处理的基础，而且广泛应用与机器翻译、语音识别、印刷体和手写体识别、拼写纠错、汉字输入和文献查询。 2.N-Gr...
Ngram折扣平滑算法
kevinfight的专栏
05-16 3442
<br />本文档翻译自srilm手册ngram-discount.7.html NAMEngram-discount – 这里主要说明srilm中实现的平滑算法 NOTATIONa_z         代表以a为起始词，以z为结束词的ngram，其中_代表0个或多个词p(a_z)     前n-1个词为a_的情况下，第n个词为z的条件概率a_           n元a_z的前n-1个词构成的前缀_z           n元a_z的后n-1个词构成的后缀c(a_z)   n元a_z在训练语料中出现的次数
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值