以实践的方式讨论：N-Gram原理与其应用

最新推荐文章于 2023-06-12 10:41:47 发布
最新推荐文章于 2023-06-12 10:41:47 发布
阅读量516 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xo3ylAF9kGs/article/details/102597352
版权
本文通过实践探讨N-Gram模型，包括unigram、bigram和trigram的原理，以及它们在文本分类和智能提示等场景中的应用。通过示例解释了N-gram如何捕获词之间的关系，并指出其在名词提取和条件概率预测中的作用。
摘要由CSDN通过智能技术生成

「Python与算法社区」 第 306 篇原创

“

N-Gram 模型介绍

”

本文将以实践的方式讨论N-Gram原理与其应用，我对N-Gram的接触来源与一个文本分类的实验，发现在原有的分词基础上引入N-Gram会提升分类准确率，因此在此讨论什么是N-Gram？它有什么作用？

N-Gram常用的有三种：unigram,bigram,trigram  分别对应一元，二元，三元。

以“我想去成都吃火锅”为例，对其进行分词处理，得到下面的数组：["我"，“想”，“去”，“成”，“都”，“吃”，“火”，“锅”]

这就是uningram, 分词的时候对应一个滑动窗口，窗口大小为1，所以每次只取一个值，同理假设使用bigram就会得到

[“我想”，“想去”，“去成”，“成都”ÿ

最低0.47元/天 解锁文章
算法channel
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于词表和N-gram算法的新词识别实验
zhoubl668的专栏：远帆，梦之帆！
04-10 1万+
曹  艳  杜慧平  刘  竟  侯汉清 (南京农业大学信息管理系  210095) 摘  要  目前未登录词问题仍然很大程度上影响着自动标引和信息检索的效率。本文提出了一种选择期刊论文的题名和摘要作为训练语料，利用N-gram算法切分和停用词典等过滤筛选非专名的新词识别方法。该方法主要分为两步：先进行N元切分，保存关键词候选集并统计词频；然后进行一系列的过滤，主要有词频阈值限定、前停后停词典
【n-gram算法】一篇文章讲透～
最新发布
2303_79387663的博客
03-27 4442
n-gram算法作为一种基于统计的NLP算法，在文本分析和处理中发挥着重要作用。通过统计文本中连续n个词的序列的频率信息，n-gram为文本生成、语言模型构建、文本分类等任务提供了有力的支持。然而，n-gram算法也存在一些局限性，如数据稀疏性、上下文信息有限以及计算复杂度高等问题。因此，在实际应用中，我们需要根据具体任务和数据特点选择合适的n值和算法参数，以充分发挥n-gram算法的优势并克服其局限性。
深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等
丨汀、的博客
06-12 1442
N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。
N-gram的平滑算法简介
qq_43660490的博客
03-21 528
N-gram作为统计语言模型的重要部分，是学习统计自然语言的重要基石，了解N-gram十分重要。N-gram会因为数据稀疏而导致效果变差，也就是某些n元组在训练样本中未出现，则其样本概率为0，这是一个很差的概率估计，会导致模型估计效果变差，可以通过数据平滑来解决数据稀疏问题。
N -Gram模型
Code_lr的专栏
05-16 558
我把N-Gram关键的几句话贴出来（对别人帖子的一些修改）：     该模型基于这样一种假设，第n个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。     在介绍N-gram模型之前，让我们先来做个香农游戏（Shannon Game）。我
ngram 算法 尝试
11-11
ngram 尝试算法 希望下载的人能继续编写下去。可以互相讨论
第三章：N-gram Language Models的PPT
04-21
【自然语言处理】中的N-gram语言模型是处理文本序列概率分布的一种基本算法。N-gram模型的关键思想是利用上下文信息来预测下一个单词。在N-gram模型中，一个n-gram是一个包含n个连续单词的序列。例如，2-gram...
n-gram:从文本中获取n-gram
05-03
： npm install n-gram用import { bigram , trigram , nGram } from 'n-gram'bigram ( 'n-gram' ) // ['n-', '-g', 'gr', 'ra', 'am']nGram ( 2 ) ( 'n-gram' ) // ['n-', '-g', 'gr', 'ra', 'am']trigram ( 'n-...
ngram2vec:n-gram的嵌入
05-11
通过采样嵌入n-gram。 使用Word2Vec学习Word2Vec模型（Gensim Word2Vec） 提取参数位于learnmdl.py中，可以在文件中更改它们。 $ python3 learnmdl.py preproc.data.en model.en 现在，可以将model.en加载并与...
lebowski:N-gram 的文本分析
07-05
莱博夫斯基文本分析。 我写它是为了操作The Big ... 这是一个六字短语，或 6-gram。 结果让我很开心。 用法：./make.sh 或者... 用法：./lebow.pl biglebowski.txt --ngrams 4 | 排序 | uniq -c | 排序-nr | 更多的
ngram：快速n-Gram标记化
02-05
7. **应用场景**：n-Gram标记化在许多应用中都很有用，如搜索引擎的查询推荐、文本分类、情感分析、翻译系统和语音识别等。 使用`ngram`包时，首先要安装和加载该包，然后根据需求调用`ngram()`函数。例如，从一个...
自然语言处理NLP中的N-gram模型
热门推荐
songbinxu的博客
05-07 10万+
自然语言处理NLP中的N-gram模型 自然语言处理NLP中的N-gram模型 Naive Bayes N-gram N-gram简介 N-gram中的概率计算 N-gram的用途 用途一：词性标注 用途二：垃圾短信分类 用途三：分词器 用途四：机器翻译和语音识别 机器翻译 语音识别 N-gram中N的确定 N-gram中的数据平滑方法 拉普拉斯平滑 Add-one Add-K ...
N-gram模型
jackfirst86的专栏
05-19 1512
 N-Gram是大词汇连续语音识别中常用的一种语言模型，对中文而言，我们称之为汉语语言模型(CLM, Chinese Language Model)。汉语语言模型利用上下文中相邻词间的搭配信息，在需要把连续无空格的拼音、笔划，或代表字母或笔划的数字，转换成汉字串(即句子)时，可以计算出具有最大概率的句子，从而实现到汉字的自动转换，无需用户手动选择，避开了许多汉字对应一个相同的拼音(或笔划串，或数字串)的重码问题。　　该模型基于这样一种假设，第n个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的
NLP之---word2vec算法skip-gram原理详解
Ricky
05-19 5万+
1.词嵌入（word2vec） 自然语言是一套用来表达含义的复杂系统。在这套系统中，词是表义的基本单元。顾名思义，词向量是用来表示词的向量，也可被认为是词的特征向量或表征。把词映射为实数域向量的技术也叫词嵌入（word embedding）。近年来，词嵌入已逐渐成为自然语言处理的基础知识。 2.为何不采用one-hot向量 【如何使用one-hot】 假设词典中不同词的数量（词典大小）为NNN...
利用N-Gram模型概括数据（Python描述）
MrLevo520的博客
08-08 1万+
decode的作用是将其他编码的字符串转换成unicode编码， 如str1.decode(‘gb2312’)，表示将gb2312编码的字符串转换成unicode编码。 encode的作用是将unicode编码转换成其他编码的字符串， 如str2.encode(‘gb2312’)，表示将unicode编码的字符串转换成gb2312编码。 import string list =
NLP系列(5)_从朴素贝叶斯到N-gram语言模型
龙心尘
02-09 2万+
我们在之前文章《NLP系列(2)_用朴素贝叶斯进行文本分类(上)》探讨过，朴素贝叶斯的局限性来源于其条件独立假设，它将文本看成是词袋子模型，不考虑词语之间的顺序信息，就会把“武松打死了老虎”与“老虎打死了武松”认作是一个意思。那么有没有一种方法提高其对词语顺序的识别能力呢？有，就是本节要接到的N-gram语言模型。
自然语言处理--nltk 中的 n-gram 分词器
糯米君的博客
12-20 3618
n-gram 是一个最多包含 n 个元素的序列，这些元素从由它们组成的序列（通常是字符串）中提取而成。一般来说，n-gram 的“元素”可以是字符、音节、词，甚至是像“A”“T”“G”“C”等表示 DNA 序列的符号。 将单词条的概念扩展到多词条构成的 n-gram，NLP 流水线就可以保留语句词序中隐含的很多含义。例如，否定词“not”就会和它所属的相邻词在一起。如果分词不考虑 n-gram，那么“not”就会自由漂移，而不会固定在某几个词周围，其否定的含义可能就会与整个句子甚至整篇文档，而不是只与某几个
信息检索复习笔记
SDU硕硕硕的博客
12-17 6万+
信息检索复习 第一讲 搜索 IR（信息检索是什么样的学科）： 实质上是融合了文本及多媒体检索、数据挖掘、机器学习和自然语言处理的综合学科 为什么要进行信息检索？信息过载 搜索 搜索的过程 从大规模非结构化数据(通常是文本)的集合(通常保存在计算机上)中找出满足用户信息需求的资料(通常是文档)的过程 信息检索的本质 确定文档和查询之间的相关度是IR的核心问题 IR作为一门学科，是研究信息的获取(acquisition)、表示(representation)、存储(storage)、组织(organizatio
n-gram和skip-gram
weixin_48185819的博客
05-28 2875
N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。 该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。 跳字模型（skip-gram）：通过中心词来推断上下文一定窗口内的单词。 一、什么是n-gram模型 N-Gr...
中文分词技术：N-gram与HMM模型解析
N-gram模型是另一种常见的语言模型，广泛应用于自然语言处理中。N-gram模型假设当前词的出现只与前面n-1个词相关，以此计算句子的概率。常见的N-gram包括uni-gram（单词模型）、bi-gram（双词模型）和tri-gram（三词...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值