自然语言处理中N-Gram模型的Smoothing算法

最新推荐文章于 2024-03-27 06:24:52 发布
最新推荐文章于 2024-03-27 06:24:52 发布
阅读量4.3w 收藏 59
点赞数 23
分类专栏： 自然语言处理信息检索 文章标签： 自然语言处理 NLP N-Gram Kneser-Ney
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baimafujinji/article/details/51297802
版权

在之前的文章《自然语言处理中的N-Gram模型详解》里，我们介绍了NLP中的N-Gram模型。最后谈到，为了解决使用N-Gram模型时可能引入的稀疏数据问题，人们设计了多种平滑算法，本文将讨论其中最为重要的几种。

  • Add-one (Laplace) Smoothing
  • Add-k Smoothing（Lidstone’s law）
  • Backoff
  • Interpolation
  • Absolute Discounting
  • Kneser-Ney Smoothing

欢迎关注白马负金羁的博客 http://blog.csdn.net/baimafujinji，为保证公式、图表得以正确显示，强烈建议你从该地址上查看原版博文。本博客主要关注方向包括：数字图像处理、算法设计与分析、数据结构、机器学习、数据挖掘、统计分析方法、自然语言处理。

Add-one (Laplace) Smoothing

Add-one是最简单、最直观的一种平滑算法。既然希望没有出现过的N-Gram的概率不再是0，那就不妨规定任何一个N-Gram在训练语料至少出现一次（即规定没有出现过的N-Gram在训练语料中出现了一次），则:

了解本专栏 订阅专栏 解锁全文 超级会员免费看
白马负金羁
关注
  • 23
    点赞
  • 踩
  • 59
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
订阅专栏
自然语言处理-skip-gram.pptx
04-23
自然语言处理
n-gram模型中的平滑方法
Torero_lch的博客
08-14 5328
当使用n-gram模型对测试语料中的句子进行评估时，如果句子中包含在训练集中未出现的n元语法，则计算出来句子出现的概率为0。例如上一篇博客语言模型和n元语法中的例子，此时用该模型来计算下面句子的概率： 因此，必须分配给所有可能出现的字符串一个非零的概率值来避免这种错误的发生。 平滑技术（smoothing）就是用来解决此类问题，基本思想是“劫富济贫"，即提高低概率，降低高概率。常见的有加1法...
【简单理解】自然语言处理-平滑方法(Smoothing)
weixin_44151089的博客
02-18 4896
【简单理解】自然语言处理-平滑方法(Smoothing) 简单介绍平滑策略 平滑策略的引入，主要使为了解决语言模型计算过程中出现的零概率问题。零概率问题又会对语言模型中N-gram模型的Perplexity评估带来困难。 零概率问题，就是在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，那么该量概率为0，进而会导致整个实例的概率结果是0。 举例：在文本分类的问题中，在计...
【n-gram算法】一篇文章讲透～
最新发布
2303_79387663的博客
03-27 1513
n-gram算法作为一种基于统计的NLP算法，在文本分析和处理中发挥着重要作用。通过统计文本中连续n个词的序列的频率信息，n-gram为文本生成、语言模型构建、文本分类等任务提供了有力的支持。然而，n-gram算法也存在一些局限性，如数据稀疏性、上下文信息有限以及计算复杂度高等问题。因此，在实际应用中，我们需要根据具体任务和数据特点选择合适的n值和算法参数，以充分发挥n-gram算法的优势并克服其局限性。
自然语言处理 | (11) N-gram语言模型及其应用
sdu_hao的博客
02-10 1万+
目录 1.前言 2. 什么是N-Gram模型 3.利用N-Gram模型评估语句是否合理 4.N-Gram模型评估语句合理性的例子 5. N-Gram中N的选择及其对性能的影响 6.N-Gram语言模型的其他应用 7.使用N-Gram模型时的数据平滑算法 8.推荐阅读 1.前言 自然语言(Natural Language)其实就是人类的语言，自然语言处理(NLP)就是对人类语言的...
NLP task2 _ 自然语言处理中N-Gram模型的Smoothing算法
沐埜专栏
05-14 2099
使用N-Gram模型时的数据平滑算法 背景:为什么要做平滑处理? 　　零概率问题，就是在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，会导致整个实例的概率结果是0。在文本分类的问题中，当一个词语没有在训练样本中出现，该词语调概率为0，使用连乘计算文本出现概率时也为0。这是不合理的，不能因为一个事件没有观察到就武断的认为该事件的概率是0。 平滑技术 平滑技术是为了解决训练集的数...
ngram模型中文语料实验step by step(3)-ngram模型的光滑处理
weixin_34309543的博客
03-09 249
由于语料不可能覆盖掉所有的情况，比如语料中有“小明读了一本书”， 那么“小李读了一本书”没有在语料中出现按照MLE最大似然估计其概率就是0，这显然是不合常理的。所以我们需要对模型进行光滑处理，就是要分一部分概率给语料中没有出现的部分。 问题是如何分配，应该分配多少呢。(下面的课件来自nhu的NLP课程）   这种情况看上去我们分给未知部分的概率太多了24/29 更多的观察更好的数据更小的...
NLP-统计语言模型的平滑处理方法
Huoyo
10-27 867
一、引言 在NLP-统计语言模型中简要介绍了统计语言模型的原理和实现方法，以bigram为例，计算了 P(我,喜欢,自然语言,处理)=P(我)∗P(喜欢∣我)∗P(自然语言∣喜欢)∗P(处理∣自然语言)P(\color{green}{我,喜欢 ,自然语言 ,处理})=P(\color{green}{我})*P(\color{green}{喜欢|我})*P(\color{green}{自然语言|喜欢})*P(\color{green}{处理|自然语言})P(我,喜欢,自然语言,处理)=P(我)∗P(喜欢∣我
语言模型平滑优化＜add one smoothing＞&＜add k smoothing＞&＜interpolation＞
weixin_43069769的博客
08-07 862
def find_file(key_word,dir = os.getcwd()): file_paths = [os.path.join(dir, f) for f in listdir(dir) if os.path.isfile(os.path.join(dir, f)) and key_word in os.path.join(dir, f)][0] return file_paths # 加载文本 corpus = find_file("南方网 3.csv") stop_word
NLP以及ML中常用的Smoothing方法
pangyunsheng的博客
04-06 988
NLP以及ML中常用的Smoothing方法 主要介绍以下几种常用的平滑方法，详见(包含代码)https://github.com/PangYunsheng8/Smoothing-Techniques-in-NLP Laplacian (add-one) Smoothing Lidstone (add-k) Smoothing Absolute Discounting Katz Backoff K...
N-gram语言模型
06-07
本项目利用python实现N-gram语言模型，采用的平滑算法是Kneser-Ney平滑。
自然语言处理实验报告.doc/中文分词/宋词生成/n-gram模型/全部java源代码
11-23
中文分词/宋词生成/n-gram模型/全部java源代码，课程设计报告。全部源代码，详细注释。
哈工大 智能技术与自然语言处理技术课程 NLP系列课程 第05章 n-gram语言模型 共78页.ppt
04-25
第05章 n-gram语言模型 共78页.ppt 第06章 Markov模型 马尔科夫模型 共57页.ppt 第07章 句法分析技术 共61页.ppt 第08章1 问答系统基础 共24页.ppt 第08章2 问答式信息检索的理论与方法研究进展报告 共31页.ppt 相似...
一种适应域的汉语N-gram语言模型平滑算法 (1999年)
05-09
针对基于汉语词的N-gram模型统计数据稀疏问题和应用域变化造成原统计模型识别性能降低,提出具有应用域适应能力的N-gram模型平滑算法。对两种应用域的语料进行了前、后向。到3元文法统计,采用隐马尔可夫模型(HMM）在...
自然语言处理中的N-Gram模型详解
taoqick的专栏
04-25 1万+
N-Gram（有时也称为N元模子）是天然说话处置惩罚中一个很是主要的观点，平日在NLP中，人们基于必定的语料库，可以使用N-Gram来估计或者评估一个句子是否合理。别的一方面，N-Gram的别的一个感化是用来评估两个字符串之间的差别水平。这是隐约匹配中常用的一种手腕。本文将今后最先，进而向读者展现N-Gram在天然说话处置惩罚中的种种powerful的运用。 基于N-Gram模子界说的字符串
N-gram模型和Smothing
夜阑卧听风吹雨，铁马是你，冰河也是你。
02-02 227
自然语言处理中N-Gram模型的Smoothing算法
【NLP基础理论】02 N-grams语言模型和Smoothing
草鸟的博客
03-13 2111
NLP自然语言处理基础理论 - 02 N-grams和Smoothing
TF-IDF算法解析与Python实现
热门推荐
白马负金羁
05-23 5万+
TF-IDF是一种用于信息检索与文本挖掘的常用加权技术。例如当手头有一些文章时，我们希望计算机能够自动地进行关键词提取。而TF-IDF就是可以帮我们完成这项任务的一种统计方法。它能够用于评估一个词语对于一个文集或一个语料库中一份文档的重要性。本文基于自然语言处理中的一些方法，利用Python实现 TF-IDF算法，并讨论Scikit-Learn中的相关函数。
自然语言处理N-gram算法
03-27
N-gram算法是一种基于统计语言模型的自然语言处理算法，用于预测一串文本中下一个词或字符的概率。 N-gram算法假设文本中的每个词或字符只与其前面的N-1个词或字符相关，即该词或字符的出现概率只与前面N-1个词或字符的出现概率有关。因此，N-gram算法可以把文本分成长度为N的连续子序列，称为N-gram。 N-gram算法的核心思想是通过统计文本中每个N-gram出现的频率，计算出每个N-gram出现的概率。在预测下一个词或字符时，N-gram算法会根据前面N-1个词或字符出现的频率，计算出所有可能的N-gram的概率，并选取概率最大的N-gram作为预测结果。 例如，对于一句话“我爱自然语言处理”，当N=2时，可以把该句话分成“我爱”、“爱自”、“自然”、“然语”、“语言”、“言处”、“处理”的N-gram。统计每个N-gram出现的频率，计算出每个N-gram出现的概率。在预测下一个词时，可以根据前面一个词的出现频率，计算出所有可能的N-gram的概率，并选取概率最大的N-gram作为预测结果。 N-gram算法的优点是简单易懂、计算速度快，广泛应用于文本分类、机器翻译、语音识别等自然语言处理领域。但是N-gram算法的缺点是无法处理长文本中的语义关系，因此在处理复杂的文本数据时，需要结合其他自然语言处理算法进行优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

白马负金羁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值