NLP中的Ngram算法简易原理及overlap

最新推荐文章于 2024-04-28 11:33:38 发布
最新推荐文章于 2024-04-28 11:33:38 发布
阅读量5.1k 收藏 3
点赞数
分类专栏： NLP 文章标签： NLP ngram overlap 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/evaljy/article/details/64424056
版权

查到的大多数博客写的都比较复杂，在看到一个stanford cs276的课件之后，决定按照自己的理解来写一点，权做抛砖引玉了。

假定给予两个词

november

december

则unibram是

n o v e m b e r

d e c e m b e r

bigram是

no ov ve em mb be er

de ec ce em mb be er

trigram是

nov ove vem emb mbe ber

dec ece cem emb mbe ber

如果在计算两个序列之间的overlap的时候，比如对于trigram而言，其

X∪Y= 9

X∩Y =3

因此其overlap是3/9

而在276课件中，是提到了X与Y可以为不同长度。因此，我认为在X和Y的overlap比对中，并不一定需要相同位置的两个一样，即对顺序不敏感。意思是说

nov emb mbe ber ove vem和dec ece cem emb mbe ber的overlap也是3/9


276 课件链接

https://web.stanford.edu/class/cs276/handouts/lecture3-tolerant-retrieval-handout-1-per.pdf


evaljy
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SEO搜索中文分词算法原理实战教程.doc
05-06
* 标签：文档资料 中文分词 算法 自然语言处理 nlp * 内容： + 搜索引擎工作原理 + 中文分词思维 + 三种中文分词方法：最小分词法、正方向最小匹配与最大匹配法和逆向最小匹配与最大匹配法 + 中文分词的重要性 ...
基于N-gram的恶意代码检测 (监督式)
weixin_50005008的博客
08-22 1285
看的论文：Abou-Assaleh T , Cercone N , Keselj V , et al. N-gram-based detection of new malicious code[C].Proceedings of the 28th Annual International Computer Software and Applications Conference, 2004. COMPSAC 2004. IEEE, 2004. 目录摘要介绍检测恶意代码的CNG 分类方法 摘要 先前的恶意检测
大模型从入门到应用——LangChain：提示（Prompts）-[示例选择器（Example Selectors）]
冯·诺依曼
08-03 1万+
自定义示例选择器从给定的示例的列表中选择固定个示例。一个一个方法，它接受一个示例并将其添加到中一个方法，它接受输入变量（用户输入），并返回要在few-shot提示中使用的示例列表让我们实现一个简单的自定义，它只随机选择两个示例。"foo" : "3" } ] # 初始化示例选择器example_selector = CustomExampleSelector(examples) # 选择示例'foo' : '3' } ] # 向示例集合添加新示例# - > [ {
【LangChain系列 13】样例选择器
最新发布
记录技术成长之路
04-28 755
本文主要介绍了几种样例选择器的用法和区别，在不同的业务场景，我们可以选择合适的样例选择器来提高少样本prompt的质量。
LangChain学习二：提示-实战（下半部分）
huiguo_的博客
12-12 1170
自定义示例选择器它的英文名叫做few shot examples：就像我们教小朋友一样，比如教小朋友分类水果，先给他演示一下水果怎么分类的，红色的放哪一个框框，白色的放哪一个框框，然后在给它一个新的水果，小朋友根据你教的示范，就会自己去分类了具体在上一节的2.5有介绍具体步骤如下定义一个类，继承BaseExampleSelector实现add_example方法，它接受一个示例并将其添加到该ExampleSelector中。
最全面的文本生成评价指标大盘点
zenRRan的博客
07-13 6281
点击下面卡片，关注我呀，每天给你送来AI技术干货！来自：NLP情报局文本生成是自然语言处理最基础的任务之一，应用广泛，包括闲聊、写诗、作曲、讲故事等等，如图是清华大学“九歌”机器人生成的五...
【n-gram算法】一篇文章讲透～
2303_79387663的博客
03-27 3029
n-gram算法作为一种基于统计的NLP算法，在文本分析和处理中发挥着重要作用。通过统计文本中连续n个词的序列的频率信息，n-gram为文本生成、语言模型构建、文本分类等任务提供了有力的支持。然而，n-gram算法也存在一些局限性，如数据稀疏性、上下文信息有限以及计算复杂度高等问题。因此，在实际应用中，我们需要根据具体任务和数据特点选择合适的n值和算法参数，以充分发挥n-gram算法的优势并克服其局限性。
n-gram算法初步理解
2303_79387663的博客
02-18 915
n-gram算法将文本切分为长度为n的连续词序列，即n-gram。在构建语言模型时，n-gram算法利用统计方法计算每个n-gram在训练语料库中出现的频率，然后根据这些频率来预测新的文本序列中可能出现的词。具体来说，给定一个n-gram序列(w1,w2,...,wn-1)，n-gram算法可以计算下一个词wn的概率P(wn|w1,w2,...,wn-1)，即条件概率。构建n-gram模型：根据设定的n值，将预处理后的文本序列切分为n-gram片段，并统计每个n-gram在训练语料库中出现的频率。
自然语言处理NLP中文分词之IT词库.zip
03-31
自然语言处理NLP中文分词之IT词库.zip IT词库
NLP算法(人工智能 之 自然语言处理（NLP）算法分类总结)
08-07
人工智能学习分类算法总结及详细算法，分类模型
人工智能-自然语言处理-DPO算法
02-25
分享文章、推荐阅读
基于Ngram双向匹配最大中文分词
05-14
基于Ngram双向匹配最大中文分词 包含data：停用词语料，标准切分语料，测试集，训练集 PrePostNgram1.py为双向最大匹配程序 Evaluate.py为评估程序结果 word内容为程序说明以及原理
n-gram的原理解释
nuohuang3371的博客
12-24 1779
本文对n-gram的基本原理进行阐述，并简单介绍它在应用中会出现的维度问题。
语言模型常用评价方法：perplexity、bleu
满腹的小不甘
12-10 1万+
1. perplexity（困惑度、复杂度） 语言模型效果好坏的常用评价指标是perplexity，简单说，perplexity值刻画的是语言模型预测一个语言样本的能力。在一个测试集上得到的perplexity值越低，说明建模效果越好。计算公式如下： 其中，为word数量 在语言模型的训练中，通常使用perplexity的对数形式：将每个位置上的概率取对数再平均 对数使用加法的形式，可以加速...
信息检索class3 （完）
qq_39922520的博客
09-22 157
信息检索(class 3)
以实践的方式讨论：N-Gram原理与其应用
算法channel
10-16 508
「Python与算法社区」第306篇原创“N-Gram 模型介绍”本文将以实践的方式讨论N-Gram原理与其应用，我对N-Gram的接触来源与一个文本分类的实验，发...
N-gram算法
Rnan_prince的博客
07-17 2812
语言模型 语言模型起源于语音识别(speech recognition)，输入一段音频数据，语音识别系统通常会生成多个句子作为候选，究竟哪个句子更合理？就需要用到语言模型对候选句子进行排序。 语言模型：对于任意的词序列，它能够计算出这个序列是一句话的概率。 能够计算的模型就是语言模型，其中为单词。 N-gram语言模型 N-gram语言模型是NLP时代最流行的一种。 1、马尔可夫假设：每个词只依赖前n个词 2、贝叶斯定理 因此： 我们也可以引入二阶马尔可夫假设：每个词依...
探索N-gram模型：语言模型中的基础算法
Chaos的博客
03-10 1420
当你输入一句话时，你有没有想过计算机是如何理解这句话的含义并做出正确的回答的呢？这涉及到自然语言处理（NLP）领域的一个重要概念——语言模型（Language Model）。语言模型可以用来预测一个给定序列（通常是单词序列或字符序列）的下一个单词或字符，这对于很多NLP任务都是很有用的。其中，N-gram模型是一种基于统计的语言模型，是自然语言处理中最经典的模型之一。本文将会详细介绍N-gram模型的原理、方法、优缺点以及实际应用，并结合案例和代码进行讲解。
卷积与反卷积、步长（stride）与重叠（overlap）及 output 的大小
热门推荐
03-10 2万+
1. 卷积与反卷积如上图演示了卷积核反卷积的过程，定义输入矩阵为 II（4×44\times 4），卷积核为 KK（3×33\times 3），输出矩阵为 OO（2×22\times 2）： 卷积的过程为：Conv(I,W)=O\text{Conv}(I, W)=O 反卷积的过称为：Deconv(W,O)=I\text{Deconv}(W,O)=I（需要对此时的 OO 的边缘进行延拓 padding
自然语言处理中的算法
09-13
在自然语言处理中，有许多常用的算法。以下是一些常见的算法： 1. 词袋模型（Bag-of-Words，简称BoW）：将文本表示为一个词汇表中每个词在文档中的出现次数或频率向量。 2. TF-IDF：Term Frequency-Inverse Document Frequency 是一种用于衡量一个词在文档中的重要性的指标，它结合了词频和逆文档频率。 3. N-gram 模型：N-gram 是一种用于预测下一个词或字符的模型，它考虑了前面的 N-1 个词或字符的上下文信息。 4. Word2Vec：Word2Vec 是一种基于神经网络的词嵌入模型，它将词语映射到一个低维向量空间，使得具有相似上下文信息的词在向量空间中距离较近。 5. 递归神经网络（Recursive Neural Network，简称RNN）：RNN 是一种具有循环连接的神经网络，可以处理序列数据，如文本。它可以捕捉上下文信息，并在处理长序列时具有记忆能力。 6. 长短期记忆网络（Long Short-Term Memory，简称LSTM）：LSTM 是一种特殊类型的 RNN，通过引入记忆单元和门控机制来解决长期依赖问题。 7. 卷积神经网络（Convolutional Neural Network，简称CNN）：CNN 在自然语言处理中常用于文本分类和序列标注任务，通过卷积操作来提取句子或文本的局部特征。 8. 注意力机制（Attention Mechanism）：注意力机制可以使模型在处理序列数据时关注到更重要的部分，提高模型的性能，如 Transformer 模型中的自注意力机制。 这些算法只是自然语言处理领域中的一部分，并且还有许多其他的算法和模型可供使用。具体选择哪种算法取决于任务的需求和数据的特点。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值