NLP平滑方法

最新推荐文章于 2023-06-06 11:31:08 发布
最新推荐文章于 2023-06-06 11:31:08 发布
阅读量519 收藏
点赞数
分类专栏： NLP 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40631132/article/details/104741295
版权
在自然语言处理中，平滑方法用于修正最大似然概率导致未知单词序列概率为0的错误。本文介绍了Add-one、Add-K、Interpolation和Good-Turing四种平滑技术，分别解释了它们的原理和应用场景，以提升模型的准确性和鲁棒性。
摘要由CSDN通过智能技术生成

文章目录

NLP语言模型平滑方法

更多内容 :https://github.com/fansking/NlpWithMe
在自然语言处理的模型中，我们需要输入一个句子，并给出这个句子出现的概率。我们通常会使用已有的语料库做先验概率统计，根据先验概率获得后验概率，但不幸的是，我们已有的语料库通常并不能覆盖所有的单词，当输入的句子中出现语料库中未曾包含的单词时，使用最大似然概率会导致这个句子出现的概率为0。这显然是不符合我们预期的，为了纠正这种错误，我们引入了平滑方法。

首先根据极大似然概率我们有以下公式:

P M L E ( w i ∣ w i − 1 ) = c ( w i − 1 , w i ) c ( w i ) P_{MLE}(w_i|w_{i-1})=\frac{c(w_{i-1},w_i)}{c(w_i)} PMLE​(wi​∣wi−1​)=c(wi​)c(wi−1​,wi​)​

其中 w i w_i wi​ 指出现在第i个位置的单词。 c ( w i , . . . ) c(w_i,...) c(wi​,...)指 w i . . . w_i... wi​...单词序列出现的总次数

那么逐一介绍一些平滑方法

Add-one

Add-one认为所有的单词序列都至少出现过一次，所以在分子会加一，分母会加所有的单词序列的个数。

这里仅以bi-gram举例,下式中V是词库的大小，因为在给定 w i − 1 w_{i-1} wi−1​的情况下，能出现的单词序列只有可能是词库所有单词遍历一遍也即 w i w_i w

最低0.47元/天 解锁文章
Python自然语言处理NLP算法课程 第03课 语言模型，平滑方法 共38页.pdf
11-28
【大纲】第01课 自然语言处理与文本挖掘概述 共37页第02课 自动机及其应用，文稿自动校正，歧义消除 共41页第03课 语言模型，平滑方法 共38页第04课 概率图模型，生成式模型与判别式模型，贝叶斯网，马尔科夫链，隐...
自然语言处理（九）——数据平滑
huihuisd的博客
01-04 2917
一、概念 什么是数据平滑？我通过一个例子来解释一下。假设有如下语料库： { 今天 天气 不错， 天气 晴朗， 晴朗 的 天气， } 如果要计算句子s=“晴朗天气”的概率（用二元语法模型，自然语言处理（七）已经介绍过），有如下计算过程。 p(天气 | 晴朗) = c（晴朗天气）/ c(晴朗) == 0 显然上面计算得到的概率不怎么准确，晴朗天气总有出现的可能，最...
稀疏问题的解决——数据平滑 - yiyi_xuechen
lionzl的专栏
11-20 2498
稀疏问题的解决——数据平滑 - yiyi_xuechen 时间 2014-02-23 12:26:00  博客园-所有随笔区原文  http://www.cnblogs.com/yiyi-xuechen/p/3561769.html 在上一篇 N-gram 模型中提到稀疏问题，即 某些在文本中通常很少出现的词 , 在某一局部文本中突然大量地出现 ，本篇主要讨论它的解决办法 --
NLP中几种常见的数据平滑方法
shao1996的博客
10-18 5784
0、简介： 本文所要介绍的平滑就是用来解决这类零概率问题的。其本质核心就是“劫富济贫”，即提高低概率，降低高概率，尽量使概率分布趋于均匀。 1、加法平滑方法 假设每一个n元语法发生的次数比实际统计的次数多δ\deltaδ次。 padd(wi∣wi−n+1i−1)=δ+c(wi−n+1i)δ∣V∣+∑wic(wi−n+1i)p_{add}(w_i|w_{i-n+1}^{i-1})=\frac{\de...
NLP（2）N-gram language Model （缺了一些平滑的方式介绍）
最新发布
qq_42902997的博客
06-06 466
在自然语言处理（NLP）中，语言模型（Language Models）是用来预测文本序列中下一个单词或者字符的概率分布的模型。语言模型的主要目标是捕捉语言的统计规律，以此来生成自然语言。这是最早的语言模型之一，主要用于捕捉词序列中的n-1阶依赖关系。然而，N-gram模型对于长距离依赖的处理不佳，且模型大小随着n的增大而急剧增大。HMM是一种统计模型，用于描述一个含有未知参数的马尔可夫过程。在NLP中，HMM常被用于词性标注和命名实体识别等任务。
n-gram 语言模型的平滑技术
Wisimer
02-28 1927
1. 统计语言模型 首先一个句子的概率 P(S)： 但是存在两个问题： 参数空间过大 数据稀疏严重，词同时出现的情况可能没有，组合阶数高时尤其明显。 2. n-gram模型 为了解决第一个问题引入马尔科夫假设（Markov Assumption）：一个词的出现仅与它之前的若干个词有关： 然后利用极大似然估计（Maximum Likelihood Estimation，MLE）计算每一项的...
哈工大 智能技术与自然语言处理技术课程 NLP系列课程 自然语言处理大总结 脑图总结.pdf
04-25
自然语言处理（NLP）是计算机科学领域的一个关键分支，主要涉及如何使计算机理解、解析、生成和操作人类语言。哈工大的智能技术与自然语言处理技术课程提供了一个全面的NLP学习路径，从基础到高级，涵盖了多个关键...
第03课 语言模型，平滑方法
02-09
33.第三十三套：机器读心术之文本挖掘与自然语言处理高级视频教程
4 NLP之数据平滑技术
我是一只小嵩鼠
11-13 2259
Laplace法则、Lidstone法则、Good-Turing估计、绝对折扣和线性折扣、Witten-Bell平滑算法、扣留估计与交叉校验、线性插值、Katz回退算法。
n-gram和数据平滑
09-25
关于数据处理方面的内容，可以进行参考阅读
自然语言处理之数据平滑方法
fuermolei的博客
08-02 9510
在自然语言处理中，经常要计算单词序列（句子）出现的概率估计。但是，算法训练的时候，预料库中不可能包含所有可能出现的序列，因此为了防止对训练样本中为出现的新序列概率估计值为零，人们发明了不少可以改善估计新序列出现的概率算法，即数据的平滑。最常见的数据平滑算法包括如下几种： Add-one (Laplace) smoothing Add-k smoothing Backoff...
NLP之平滑策略
weixin_30680385的博客
11-08 374
平滑 需要平滑原因有二：一，导致0概率，无法计算困惑度；二，对于一些未见过的句子，概率为0。 training set: denied the reports Test set: denied the offer P(offer| denied the) = 0 加1(拉普拉斯?) 平滑 Maximun Likelihood E stimates: P(Wi|Wi-1) = C(Wi...
NLP炼丹技巧：标签平滑label smoothing
yuansaijie0604的专栏
06-30 2122
标注数据中存在错误样本，可以采用标签平滑的方法进行缓解。
标签平滑（Label Smoothing）详解
ytusdc的博客
12-31 1万+
标签平滑（Label smoothing），像L1、L2和dropout一样，是机器学习领域的一种正则化方法，通常用于分类问题，目的是防止模型在训练时过于自信地预测标签，改善泛化能力差的问题。
自然语言处理中N-Gram模型的Smoothing算法
白马负金羁
05-02 4万+
为了解决使用N-Gram模型时可能引入的稀疏数据问题，人们设计了多种平滑（Smoothing）算法，本文将讨论其中最为重要的几种。具体包括：Add-one (Laplace) Smoothing, Add-k Smoothing, Backoff（回退），Interpolation（插值），Absolute Discounting，以及目前最先进的Kneser-Ney Smoothing算法。
自然语言处理中的N-Gram模型详解
热门推荐
白马负金羁
04-29 15万+
N-Gram（有时也称为N元模型）是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。另外一方面，N-Gram的另外一个作用是用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段。本文将从此开始，进而向读者展示N-Gram在自然语言处理中的各种powerful的应用。
NLP语言模型的平滑问题
qq_36732844的博客
07-09 452
https://blog.csdn.net/miner_zhu/article/details/82729192
【总结】几个简单语言模型平滑方法
Johnson的博客
11-17 3577
首先说一下为什么要采用平滑操作： 　因为在数据库统计词语的结果中，一定会出现大量的零（稀疏），从而导致识别的结果出现错误，比如在你的语料库中没有＇他＇这个字，统计概率就为０，但你不能因为这个的概率为０，就把所有的带’他’的句子统计为概率是０，这是不合理的，所以要对所统计的结果进行平滑操作，避免统计结果稀疏。 Laplace平滑 　这是平滑方法中最为简单粗暴的一个方法，原理就是让每个统计的频数至少为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值