1.3 n-gram平滑算法：Good-Turning、拉普拉斯平滑

最新推荐文章于 2023-03-21 15:18:15 发布

炫云云

最新推荐文章于 2023-03-21 15:18:15 发布

阅读量1.5k

点赞数

分类专栏：深度学习算法理论文章标签：算法 python 机器学习自然语言处理深度学习

本文链接：https://blog.csdn.net/qq_43940950/article/details/117850008

版权

深度学习算法理论专栏收录该内容

117 篇文章 16 订阅 ¥129.90 ¥299.90

订阅专栏

本文介绍了n-gram模型中遇到的零概率问题，详细阐述了拉普拉斯平滑（Add-one smoothing）和add-k平滑，并探讨了它们的局限性。接着，重点讲解了Good-Turing平滑的原理，通过实例展示了如何避免平滑过程中概率失真的问题。最后，提到了在Python中应用这些平滑技术的相关模块。

摘要由CSDN通过智能技术生成

文章目录

上一节请看：

1.1 文本表示——词袋法：one-hot、TF-IDF、n-gram、神经概率语言模型

1.2 Bigram计算句子的概率、python实现_炫云云-CSDN博客

为什么需要平滑操作

假设有一个预料集

我 喜欢 喝 奶茶
我 喜欢 吃 巧克力
我 喜欢 健身
天啦撸，一起同过窗 要出 第三季 了

这个时候要计算“我喜欢喝咖啡”的概率

假设我们用bi-gram模型来计算，也就是说

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

炫云云

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
6
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

n-gram-tree:用Java编写的n-gram模型

05-13

n-gram tree一个使用N-Gram统计语言模型作预测的数，当找不到（即某一环节概率为0时）自动取用低阶的(N-1)-Gram模型，训练速度巨快，储存空间小。支持增量式训练。支持序列化后压缩再保存到本地，也可以读出（要不然...

关于语言模型中的平滑

rexyang97的博客

11-01

503

在语言模型计算概率的时候，我们会碰到概率为0的情况，即计算的单词在语言模型中并没有出现过。这个时候会使用平滑的方法计算概率，一般分为以下几种： Add-One Smoothing Add-K Smoothing 其中Add-One Smoothing可以看作Add-K Smoothing中K为1的变种。概率计算即为 (C+k)/(N+kV) 其中C为需要计算的情形出现的次数，N为语料库中所有情形的次数，V为语料库中所有情形的种类。 Interpolation Interpolation 即为.

6 条评论您还未登录，请先登录后发表或查看评论

用Python实现概率语言模型（2-元语法模型）

最新发布

peanutwang的博客

03-21

1163

需要注意的是，这里的两两组合区分先后，例如，“她很”出现了3次，而“很她”出现了0次。把字典中的字按照row，col排成二维的，纵横交叉处即为该两两组合出现的次数。首先构造一个语料库，由6句话组成，每句话3个字。遍历语料库，把每个字出现的次数存储在字典中。至此，一元概率已完成。下面计算二元的次数。每个字的出现的次数除以语料库总字数。再构造一个字典P1存储一元概率。构造一个字典，存储一元的字数。

NLP-Good Turning平滑

Swayzzu的博客

11-17

1870

如何计算没有出现过的词，下一次出现的概率？

拉普拉斯平滑

zrh_CSDN的博客

07-02

2382

使用贝叶斯算法时，用极大似然估计可能会出现所要估计的概率值为0的情况，会影响到后验概率的计算，使得分类产生偏差，如何解决这一问题？采用贝叶斯估计：在随机变量各个取值的频数上赋予一个整数，当 =0时就是极大似然估计，常取 =1，这时成为拉普拉斯平滑。先验概率变为：，条件概率类似。...

[NLP] 实例讲解 N-gram语言模型中 Good-Turning 平滑技术

江南蜡笔小新

11-23

3708

1.背景最近在阅读论文的时候接触到了古德-图灵估计法，感觉比较模糊不清，进一步查阅了一些资料，希望有一个自己的直观理解。 …本论文采用的是古德-图灵估计法，其基本思想是对于任意出现r次的n元语法对，都假设它出现了r*次，即降低高概率的n元语法对，提高低概率的n元语法对… 1.1 为什么要用平滑技术？通常来讲，我们认为N-gram模型是一个无监督模型，具有非常大的语料库。然而，语料库再大，也会出现未知的N元对。以bigram为例，p(鼠标|弃飞)，语料库再大这个p(鼠标|弃飞)也该等于0吧？天王老

N-gram语言模型

06-07

传统的拉普拉斯平滑或者 Lidstone 平滑会简单地为每个n-gram分配一个小概率，但这可能导致对未见过的n-gram过于乐观的估计。Kneser-Ney平滑通过考虑更低阶的n-gram信息来改进这一点，使得模型能更准确地预测新序列。...

n-gram:从文本中获取n-gram

05-03

： npm install n-gram用import { bigram , trigram , nGram } from 'n-gram'bigram ( 'n-gram' ) // ['n-', '-g', 'gr', 'ra', 'am']nGram ( 2 ) ( 'n-gram' ) // ['n-', '-g', 'gr', 'ra', 'am']trigram ( 'n-...

N-Gram-LM.rar_bi gram_bi gram算法_gram_n gram_n-gram

09-20

这个压缩包文件"**N-Gram-LM.rar**"显然包含了关于Bi-Gram模型的实现及其应用。 Bi-Gram模型的基础是统计相邻词对出现的频率。在训练阶段，模型会分析给定的训练文本"**Train2.txt**"，计算每一对连续单词出现的...

N-gram Language Models 文献

12-24

N-gram 语言模型文献 N-gram 语言模型是自然语言处理和语言模型领域中的一种重要技术，本文将对其进行详细的介绍和分析。 N-gram 语言模型的定义 N-gram 语言模型是一种基于统计模型的语言模型，它通过统计语言中...

Good-Turning Smothing 学习

theowl13的博客

02-21

377

使用场景语言模型平滑化等公式没有出现过的单词出现的概率 Pmle=0P_{mle}=0Pmle=0 （mle的方式） Pgt=N1NP_{gt}=\frac{N_1}{N}Pgt=NN1 （good-turning的方式）出现过的单词出现的概率 Pmle=cNP_{mle}=\frac{c}{N}Pmle=Nc（mle的方式） Pgt=(c+1)Nc+1Nc×NP_{gt}=\frac{(c+1)N_{c+1}}{N_c\times N}Pgt=Nc×N(c+1)Nc+1

N-gram的平滑算法简介

qq_43660490的博客

03-21

703

N-gram作为统计语言模型的重要部分，是学习统计自然语言的重要基石，了解N-gram十分重要。N-gram会因为数据稀疏而导致效果变差，也就是某些n元组在训练样本中未出现，则其样本概率为0，这是一个很差的概率估计，会导致模型估计效果变差，可以通过数据平滑来解决数据稀疏问题。

【机器学习】拉普拉斯平滑

小姚的博客

01-17

4037

【机器学习】拉普拉斯平滑一、提出原因（背景）二、思想及举例一、提出原因（背景）在某些场景，如文本分析中，计算某词的概率，可能会因为训练集中从没出现过这个词，而认为该词概率为0，并将影响后续计算。为解决零概率问题，法国数学家、物理学家拉普拉斯提出了拉普拉斯平滑。二、思想及举例 拉普拉斯平滑，又叫加一平滑，它对分子划分的计数加1，分母加类别数。例如，已知一维变量分布的采样结果，变量为A，A的取值有三种情况：a1，a2，a3，现有样本集{ a1, a2, a1, a2, a3, a1,

机器学习算法 07 —— 朴素贝叶斯算法(拉普拉斯平滑系数、商品评论情感分析案例)

zcy的博客

08-23

8374

文章目录系列文章朴素贝叶斯1 什么朴素贝叶斯分类2 概率复习2.1 朴素贝叶斯2.2 文章分类举例2.3 拉普拉斯平滑系数3 案例：商品评论情感分析4 朴素贝叶斯算法总结4.1 优缺点4.2 内容汇总朴素贝叶斯(NB)原理朴素⻉叶斯朴素在哪⾥？为什么引⼊条件独⽴性假设？在估计条件概率**P(X**∣**Y)**时出现概率为**0**的情况怎么办？为什么属性独⽴性假设在实际情况中很难成⽴，但朴素⻉叶斯仍能取得较好的效果?朴素贝叶斯和逻辑回归(LR)的区别系列文章 机器学习算法 01 —— K-近邻算法(数

n-gram 语言模型的平滑技术

Wisimer

02-28

1926

1. 统计语言模型首先一个句子的概率 P(S)：但是存在两个问题：参数空间过大数据稀疏严重，词同时出现的情况可能没有，组合阶数高时尤其明显。 2. n-gram模型为了解决第一个问题引入马尔科夫假设（Markov Assumption）：一个词的出现仅与它之前的若干个词有关：然后利用极大似然估计（Maximum Likelihood Estimation，MLE）计算每一项的...

srilm语言模型中的平滑算法——Good-Turing平滑算法

vincent1y的博客

08-10

8485

最近使用使用python自己写的语言模型和srilm得到的语言模型做对比，srilm里还是有很多trick的，尤其是平滑算法，集成了很多数据平滑算法，研究的时候，记录一下。在srilm中有回退和差值两类平滑算法，简单来说，回退就是将出现过的ngram的概率打个折扣，将那部分折扣下来的概率均摊为未出现的ngram作为他们的概率，而插值呢，一样是对出现过的ngram打折扣，但是折扣下来的概率值均摊...

【NLP基础理论】02 N-grams语言模型和Smoothing

草鸟的博客

03-13

2860

NLP自然语言处理基础理论 - 02 N-grams和Smoothing

N-Gram改进算法：多字特征词提取与优化

"本文介绍了一种基于N-Gram的改进算法，用于文本特征提取，尤其关注于计算机软件测试中的文本处理。该算法旨在提高多字特征词的识别效率，主要针对三字词和四字词。它通过统计gram的出现频度以及gram之间的接续情况...