【深度学习】负采样技术（1）

最新推荐文章于 2024-04-21 16:46:21 发布
最新推荐文章于 2024-04-21 16:46:21 发布
阅读量2k 收藏 3
点赞数 1
分类专栏： 推荐系统 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_31866177/article/details/112975121
版权

回顾以下word2vec，负采样的思想更加直观：为了解决数量太过庞大的输出向量的更新问题（word2vec这里要预测是哪个单词，而单词库上万），我们就不更新全部向量，而只更新他们的一个样本。

显然正确的输出单词（也就是正样本）应该出现在我们的样本中，另外，我们需要采集几个单词作为负样本（因此该技术被称为“负采样”）。采样的过程需要指定总体的概率分布，我们可以任意选择一个分布。我们把这个分布叫做噪声分布，标记为 P_n(w) 。可以凭经验选择一个好的分布。

在word2vec中，作者称用简化的训练目标取代用一个定义好的后多项分布的负采样形式

  •  W_o 是输出单词（即，正样本）， (w_o)^' 是它的词向量；
  • h 是隐藏层的输出：在CBOW中，h = 1/C\sum_{c=1}^{C}v_{w_{c}} ，在skip-gram中，h=v_{w_{i}}  ； 
  • W_{neg} = \{w_j|j=1,...,K\} 是从  P_n(w) 中采样得到的单词集合，也就是负样本

 

再回到推荐的场景中，

推荐系统正负样本的划分和采样，如何做更合理？

Q1：负样本应该如何采样更合理？
A1：可以尝试使用一定的规则筛选负样本：

base策略：随机抽取一定比例
策略1：在用户未点击的部分，选择流行度高的作为负样本（更有代表性）
策略2：在用户未点击的部分，删除用户近期已发生观看行为的电影
策略3：在用户未点击的部分，统计相应的曝光数据，取Top作为负样本（多次曝光仍无转化）

Q2：正负比例有个大致的主流数值吗？1？5？10？
A2：建议交叉验证后选择合适的数值

Q3：测试集是否需要和训练集保持相同的正负样本比例？
A4：这个问题是不成立的，首先基于一个策略生成全部的样本，再根据时间轴人为切分成训练集和测试集，并不是先生成训练集，再生成测试集。

 

推荐系统传统召回是怎么实现热门item的打压? - 石塔西的回答 - 知乎

负样本为王：评Facebook的向量化召回算法 - 石塔西的文章 - 知乎

推荐系统中的痛点（个人工作经验） - 漱石的文章 - 知乎 

 

 

word2vec详解（CBOW，skip-gram，负采样，分层Softmax） - 孙孙的文章 - 知乎

Word2Vec介绍: 为什么使用负采样（negtive sample）？ - 刘博的文章 - 知乎

word2vec中的负采样与分层softmax - TianMin的文章 - 知乎

 

sdbhewfoqi
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
word2vec 的 Negative Sampling(负采样)技巧
看正好六个字的博客
12-28 2316
Skip-gram 模型的负采样
深度对比学习综述论文PDF
01-29
文章最后讨论了对比学习面临的挑战，如计算效率、样本对的负采样策略、如何更好地利用无标签数据等，并对未来的趋势进行了预测，包括更高效的学习算法、更强大的数据增强技术、以及跨模态对比学习的可能性。...
上百篇论文概览『负采样方法』的前世今生
Kaiyuan_sjtu的博客
12-31 2145
Efficient and Effective: 百篇论文概览负采样方法的前世今生 © 作者｜徐澜玲研究方向｜推荐系统引言：负采样方法最初是被用于加速 Skip-Gram 模型的训练...
负采样，yyds！
夕小瑶科技说
02-17 6767
文 | 徐澜玲源 | RUC AI Box引言：负采样方法最初是被用于加速 Skip-Gram 模型的训练，后来被广泛应用于自然语言处理 (NLP)、计算机视觉 (CV) 和推荐系统 (R...
负采样重要吗？它的理论与应用综述
最新发布
04-21 1107
Does Negative Sampling Matter? A Review with Insights into its Theory and Applications 负采样重要吗？它的理论与应用综述 Does Negative Sampling Matter? A Review with Insights into its Theory and Applications Zhen Yang, Ming Ding, Tinglin Huang, Yukuo Cen, Junshuai Song,
负采样Negative Sampling
qq_45721997的博客
02-13 2422
1.噪声对比估计（Noise contrastive estimation） 语言模型中，根据上下文c，在整个语料库V中预测某个单词w的概率，一般采用softmax形式，公式为： 为了避免巨大的计算量，NCE的思路是将softmax的参数估计问题 转化成 二分类。二分类两类样本分别是真实样本和噪声样本： 正样本：经验分布生成的（即真实分布）标签D=0， 负样本：噪声，由q(w)生成 对应标签D=1。 从正样本中提取一个，从噪声分布中提取k个噪声样本，在总样本（真实样本+噪声样本）中，w代表预测的目标词。
NLP篇【02】白话Word2vec原理以及层softmax、负采样的实现
程序认生
10-24 5481
一、什么是word2vec Word2vec，即词向量。2013年，Google团队发表了word2vec工具。word2vec工具主要包含两个模型：跳字模型（skip-gram）和连续词袋模型（continuous bag of words，简称CBOW），以及两种高效训练的方法：负采样（negative sampling）和层序softmax（hierarchical softmax）。值得一提的是，word2vec词向量可以较好地表达不同词之间的相似和类比关系。Google提出的这个wo......
pytorch_pytorch_动手学深度学习Pytorch_
10-03
在Word2Vec部分，作者可能会讲解到Skip-gram和CBOW两种训练方法，以及负采样和Hierarchical Softmax等优化技巧。读者将学习如何处理文本数据，构建词汇表，以及训练和评估Word2Vec模型。这些模型可以生成词向量，...
基于深度学习的遥感图像目标检测方法.docx
06-15
随着人工智能的发展，基于深度学习的目标检测技术在遥感影像中的应用越来越广泛，利用深度神经网络从计算机视觉角度提取遥感影像信息，能够极大提高高分辨率遥感影像目标检测精度。 基于深度学习的遥感图像目标检测...
深度学习的深信度网
06-19
深度学习是现代人工智能领域的重要分支，它通过模拟人脑神经网络的工作原理，处理复杂的数据学习任务，如图像识别、自然语言...而C语言虽然在实现上可能相对复杂，但依然可以作为一种理解和实践深度学习技术的途径。
Word2Vec理解
莫一丞元
09-12 223
综述 本文思想-先论述利用DNN（MLP）模型衍生的CBOW和skip-gram，然后论述负采样算法和哈夫曼树，最后总结 Word2vec两种模型。词嵌入只是模型的副产品，即输入词矩阵。 l 词袋模型就是将句子分词，然后对每个词进行编码，常见的有one-hot、TF-IDF、Huffman编码，假设词与词之间没有先后关系。 l 词向量模型是用词向量在空间坐标中定位，然后计算cos距离可以判断词于词之间的相似性。 1.负采样算法（基于skip-gram模型） 例句（语料库）：I want a glass
负采样（Negative Sampling）
热门推荐
csdn_xmj的博客
07-13 1万+
来源：Coursera吴恩达深度学习课程 在Word2Vec文章中，我们见到了Skip-Gram模型如何构造一个监督学习任务，把上下文映射到了目标词上，它如何学到一个实用的词嵌入（word embedding）。但是它的缺点（downside）就在于softmax计算起来很慢。因此，学习一个改善过的学习问题叫做负采样（negative sampling），它能做到与Skip-Gram模型相似的事情，但是用了一个更加有效的学习算法，让我们来看看。 在本视频中大多数的想法源于这篇论文：Distribut
【2022秋招面经】——NLP
ywm_up
11-01 1489
NLP面试问题
为什么使用负采样技术(附详细求导过程)
Y
12-26 1464
word2vec的初心是什么，为什么使用负采样技术。 看了很多博客和B站视频讲解，还是没有讲解清楚。 最后还是知乎大佬说清楚了。详见 1.用负采样带来的问题 参数更新慢 其一 我们每次只对窗口中出现的几个单词参数进行更新，但是在计算梯度的过程中，是对整个参数矩阵进行运算，这样参数矩阵中的大部分值都是0。 计算开销大 其二 是 导致计算效率低下 softmax函数激活，会导致计算全部的单词‘得分’（滑动窗口在滑动过程中，需要计算滑动窗口里面单词然后求和，效率低） 2..
关于负样本采样的一些思考
weiyaner的博客
04-26 801
负样本采样是选择“随机采样”还是“曝光未点击”，这得看所处的任务模式在召回还是排序阶段。
word2vec梳理--part2--负采样
人month神话
04-18 4409
在word2vec的第2部分（第1部分在这里（https://blog.csdn.net/fengrucheng/article/details/115705827）），将介绍对skip-gram模型的一系列优化，这些优化使得训练切实可行，因此非常重要。 首先再明确一下我们的任务本质：skip模型--输入中间词，输出周围词（这与CBOW模型不同--输入周围词，输出中间词） 当你看一些关于Word2Vec的skip-gram模型的教程时，你可能已经注意到了一些东西——这是一个巨大的神经网络！ 在之.
Word2Vec原理解析二：层级Softmax与负采样
Xu_Wave
04-20 3986
Word2Vec原理解析二：层级Softmax与负采样
深入理解深度学习——Word Embedding（六）：负采样（Negative Sampling）优化
冯·诺依曼
01-30 1万+
训练一个神经网络意味着要输入训练样本并不断调整神经元的权重，从而不断提高对目标预测的准确性。神经网络每训练一个样本，该样本的权重就会调整一次。正如《Word Embedding（五）：基于哈夫曼树（Huffman Tree）的Hierarchical Softmax优化》所讨论的，VVV的大小决定了神经网络的权重矩阵的具体规模，所有这些权重需要通过数以亿计的训练样本来进行调整，这是非常消耗计算资源的，并且在实际训练过程中，速度会非常慢。 负采样（Negative Sampling）解决了这个问题，它可以提高
importance sampling.pdf
02-27
重要新采样，适合图形学，以及深度学习人员查看

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值