[nlp] 负采样 & nce_loss

已于 2022-09-16 16:59:49 修改
阅读量1.5k 收藏 1
点赞数
分类专栏： nlp 文章标签： 语言模型 人工智能 自然语言处理
于 2021-11-05 21:47:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/121054688
版权

论文：http://demo.clab.cs.cmu.edu/cdyer/nce_notes.pdf

参考：求通俗易懂解释下nce loss？ - 知乎

参考：（三）通俗易懂理解——Skip-gram的负采样 - 知乎

主要参考：pytorch 源代码 NCELoss

目录

🍇 nce_loss 

改变输入分布的二元交叉熵  

 🍇 负采样

抽样率 ： 处理高频词保留概率

​负样本选取率：如何选取负样本

🍇 nce_loss 

其实就是二元交叉熵BCE，只不过负样本比正样本有个权重，是K，然后这个权重在损失函数上还要做归一化，也就是1/K+1 和 K/K+1。是对比学习类似Pairwise的思想， 再加上代价敏

了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
NCE损失(Noise-Constrastive Estimation Loss)
weixin_30273763的博客
04-07 3416
1.算法概述 假设X是从真实的数据（或语料库）中抽取的样本,其服从一个相对可参考的概率密度函数P(d),噪音样本Y服从概率密度函数为P(n)，噪音对比估计(NCE)就是通过学习一个分类器把这两类样本区别开来，并能从模型中学到数据的属性。 模型原始论文：Noise-contrastive estimation: A new estimation principle for unnormalized ...
自然语言处理&transformer&NLP&yolo等技术应用资源
最新发布
01-04
自然语言处理(NLP)和计算机视觉技术(Vision)是当今人工智能行业最受关注和投资的两个领域，这两个领域在很大程度上改变了人们的生活方式和商业运营模式。本文将重点介绍NLP技术中的Transformer模型和计算机视觉技术...
通俗易懂的NCE Loss
William Zhao's notes
05-04 2万+
NCE loss : Noise Contrastive Estimation 他的直观想法：把多分类问题转化成二分类。 之前计算softmax的时候class数量太大，NCE索性就把分类缩减为二分类问题。 之前的问题是计算某个类的归一化概率是多少，二分类的问题是input和label正确匹配的概率是多少。 问题： 通常训练例如word2vec的时候，我们最后用full softmax预...
NCE loss详解
乐趣是人为构建的，构建是一种莫大的乐趣。
03-05 3259
nce loss来源是word2vec 可以看这个视频，讲的非常好： https://www.bilibili.com/video/BV1F7411x749?p=5&t=438 这个nce讲的非常好。（知乎-收藏夹） https://zhuanlan.zhihu.com/p/334772391 nce实际就是将生成模型转化为一个二分类问题的判别模型。 ...
盘点检索任务中的损失函数
努力努力再努力的小马
08-08 1934
【写在前面】 最近在看检索和匹配相关的任务，之前对这个任务不太了解，只知道就是相似度对比，找出相似度最高的样本就可以了。但是了解之后，在模型训练过程中，有许多方法（损失函数）来拉近正样本的距离，拉远负样本的距离。 Triplet loss 先从最经典的三元组 loss 说起， 三元组的构成：从训练数据集中随机选一个样本，该样本称为Anchor，然后再随机选取一个和Anchor属于同一类的样本和不同类的样本,这两个样本对应的称为Positive 和Negative，由此构成一个三元组。 通过学习，让正样本.
自然语言处理(NLP)之近似训练法：负采样与层序Softmax
深度学习领域优质创作者，CSDN博客专家
02-23 948
针对跳字模型复杂度高的处理
NLP.zip_NLP_nlp处理docx_python nlp_自然语言处理
09-24
自然语言处理教程与项目总结,java与python描述均有。
NLP.zip_nlp相似度_python_semantic similarity_自然语言处理_语义相似度
09-24
基于向量模型的判断语句之间的相似度的语义分析自然语言处理代码
谷歌&HuggingFace_ 零样本能力最强的语言模型结构.rar
10-18
谷歌&HuggingFace_ 零样本能力最强的语言模型结构.rar
自然语言处理&transformer&NLP&yolo等技术应用介绍
08-02
自然语言处理&transformer&NLP&yolo等技术应用介绍
【专题学习】对比学习原理及代码
YasmineC的博客
11-08 2167
以InstDisc和CPC两篇文章作为引入，重点学习和运用NCE loss和InfoNCE loss
【深度学习】资源：最全的 Pytorch 资源大全
探索世界，改变世界
10-22 4726
Pytorch资源大全 目录 Pytorch及相关库 NLP和语音处理： 计算机视觉： 概率/生成库： 其他库： 教程和示例 论文的实现 Pytorch其他     Pytorch及相关库 pytorch：Python中的张量和动态神经网络，具有强大的GPU加速功能。 NLP和语音处理： pytorch text：火炬文本相关内容。 pytorch-seq2seq...
Pytorch|YOWO原理及代码详解(一)
qq_24739717的博客
03-21 7324
Pytorch|YOWO原理及代码详解 阅前可看：YOWO论文翻译 YOWO很有趣，使用价值很大，最近刚好需要，所以就研究一下。一直认为只有把源码看懂，才知道诸多细节，才算真正了解一个算法。笔者能力有限，博文若有出错，欢迎指正交流。 这次为了方便debug，所以就稍微改动了train.py 文件，修改为myTrain.py，代码分析就从这里开始，但在之前需要完成各项配置。 1.训练之前需要的工作。...
pytorch 常用loss函数整理篇（一）
驽马十驾，功在不舍；锲而不舍，金石可镂。
05-04 7806
loss函数大全参考文件 平均绝对误差（MAE）/L1 Loss 当torch.nn.L1Loss的参数reduction选择’sum’时即为L1 loss； 当选择 ‘mean’ /'none’时，即为MAE。 KaTeX parse error: Can't use function '\]' in math mode at position 74: …_i^p} \right|} \̲]̲............
PyTorch: N-Gram Language Modeling
AI小白入门的博客
02-11 4099
版权声明：博客文章都是作者辛苦整理的，转载请注明出处，谢谢！ http://blog.csdn.net/m0_37306360/article/details/79313809 PyTorch中Word Embeddings 在介绍N-Gram 语言模型之前我们先简单介绍一下如何在PyTorch中使用嵌入以及一般的深度学习编程。我们需要在使用word embeddings时为每个单词定义一个索...
NLP《词汇表示方法（四）负采样》
qq_29367075的博客
11-06 547
一：负采样 在CBOW和Skip-Gram模型中，最后输出的都是词汇的one-hot向量，假如我们的词汇表的数量是10000，嵌入空间的维度是300，再假设此时是以Skip-Gram模型只预测context内的单独一个word的模型为例，那么从隐藏层到输出层的参数数量是300 x 10000的。 每次的输出之前都要做softmax操作，对于如此庞大的词汇数量，计算softmax是很耗费时间的，不仅仅是前向计算，在反向传播的时候求偏导数也是很耗费计算的。 负采样就是一个简化计算的办法，考虑到我们最终样本输出的
Candidate sampling：NCE loss和negative sample
weixin_33842304的博客
12-07 538
在工作中用到了类似于negative sample的方法，才发现我其实并不了解candidate sampling。于是看了一些相关资料，在此简单总结一些相关内容。 主要内容来自tensorflow的candidate_sampling和卡耐基梅隆大学一个学生写的一份notesNotes on Noise Contrastive Estimation and Negative Sampling，还...
tensorflow学习笔记（三）：损失函数
热门推荐
Keith
10-20 3万+
""" tf.python.ops.nn_ops.sparse_softmax_cross_entropy_with_logits(logits, labels, name=None) """ def sparse_softmax_cross_entropy_with_logits(logits, labels, name=None): #logits是最后一层的z（输入） #A common us
2016-12-19
xiongvvvxiong的博客
12-19 829
今天主要的工作有以下几部分： 1. 熟悉运行word2vec_basic版本，tf.nn.nce_loss（）函数返回的是batch的loss值，而因为词表太大不太适合做全局的softmax, 因此此处采取的是采样的方法，也就是经过一个正样本和多个随机采样的负样本来计算loss值，此处用的是sigmoid_cross_entropy_with_logits（）函数，因此在计算交叉熵的时候是每一个
https://blog.csdn.net/weixin_30437481/article/details/95809928?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169000632216800188523335%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=169000632216800188523335&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-2-95809928-null-null.142^v90^control_2,239^v3^insert_chatgpt&utm_term=altera%20fifo%20ip%E6%A0%B8&spm=1018.2226.3001.4187网页中的内容
07-23
ChatGPT是一种由OpenAI训练的大型语言模型。它的原理是基于Transformer架构，通过预训练大量文本数据来学习如何生成人类可读的文本，然后通过接受输入并生成输出来实现对话。 ChatGPT的用途非常广泛，可以用于自然语言处理（NLP）任务，如对话生成、问答系统、文本生成等。 如果你想使用ChatGPT，你可以用它来构建对话机器人，回答问题，生成文本等。它的应用非常广泛，可以用于各种场景，如客服、帮助提供者、教育机构等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值