Tensorflow的负采样函数Sampled softmax loss踩坑之旅

最新推荐文章于 2024-07-09 12:58:10 发布
最新推荐文章于 2024-07-09 12:58:10 发布
阅读量8.5k 收藏 7
点赞数 2
文章标签： TensorFlow 负采样 negative sampling softmax loss sampled softmax loss
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41864878/article/details/89032038
版权
本文介绍了在TensorFlow中使用Sampled Softmax Loss进行极端多类分类任务时遇到的问题与解决方法，包括设备错误、负样本数量的影响，并提供了相关代码示例和参考资料。
摘要由CSDN通过智能技术生成

谷歌16年出的论文《Deep Neural Networks for Youtube Recommendation》中提到文章采用了负采样的思想来进行extreme multiclass分类任务
我的tensorflow实现已上传CSDN资源https://download.csdn.net/download/weixin_41864878/11107472
Tensorflow提供了两种负采样，分别是NCE loss 和Sampled softmax loss，两者最大的区别就是针对的任务不同，代码实现上两者也只有最后的loss函数不同，两者用的采样函数及算logits方法都相同
NCE loss

  sampled_losses = sigmoid_cross_entropy_with_logits(
      labels=labels, logits=logits, name="sampled_losses")

Sampled softmax loss

  labels = array_ops.stop_gradient(labels, name="labels_stop_gradient")
  sampled_losses = nn_ops.softmax_cross_entropy_with_logits_v2(
      labels=labels, logits=logits)

显然，NCE能针对多标签࿰

最低0.47元/天 解锁文章
chutongz
关注
关于负采样tf.nn.sampled_softmax_loss
NLP与推荐算法
05-17 2379
有NCE loss，这种loss版本用的多，下面介绍下tf.nn.sampled_softmax_loss 首先看help的结果： sampled_softmax_loss(weights, biases, labels, inputs, num_sampled, num_classes, num_true=1, sampled_values=None, remove_accidental_hits=True, partition_strategy='mod', name='sampled_sof
一文讲懂召回中的 NCE & NEG & sampled softmax loss
眼罩的程序员笔记
07-11 2398
深度学习中与分类相关的问题都会涉及到softmax的计算。当目标类别较少时，直接用标准的softmax公式进行计算没问题，当目标类别特别多时，则需采用估算近似的方法简化softmax中归一化的计算。
Tensorflow之负采样函数Sampled softmax loss
AcceptedLin的博客
09-22 1469
Tensorflow之负采样函数Sampled softmax loss 谷歌16年出的论文《Deep Neural Networks for Youtube Recommendation》中提到文章采用了负采样的思想来进行extreme multiclass分类任务 我的tensorflow实现已上传CSDN资源https://download.csdn.net/download/weixin_41864878/11107472 Tensorflow提供了两种负采样，分别是NCE l...
【机器学习】sampled softmax loss
littlemichelle
04-29 2614
前置知识 损失函数 - 交叉熵损失函数 - 飞鱼Talk的文章 - 知乎 https://zhuanlan.zhihu.com/p/35709485 一文详解Softmax函数 - 触摸壹缕阳光的文章 - 知乎 https://zhuanlan.zhihu.com/p/105722023 softmax 介绍 + 公式 + 代码 sampled softmax 如何通俗理解sampled softmax机制？ - 知乎 https://www.zhihu.com/quest...
Tensorflow之损失函数与交叉熵
最新发布
Water_Sunzhipeng的博客
07-09 543
例如 二分类，已知答案y_(1, 0) 预测 y1(0.6, 0.4), y2=(0.8, 0.2), 那个答案接近标准答案。均方误差tensorflow实现，loss_mse = tf.reduce_mean(tf.sqrue(y_-y)代码实现， tf.losses.categorical_crossentropy(y_,y)预测多了，损失成本，预测少了，损失利润，利润不等于成本。预测酸奶日销量，y，x1, x2是影响日销量的因素。自定义损失函数 loss(y_, y) =
tensorflow.python.ops.array_ops.stop_gradient函数说明及中文解释
AbaloneVH的博客
12-07 3571
stop_gradient(input, name=None) Stops gradient computation. When executed in a graph, this op outputs its input tensor as-is. When building ops to compute gradients, this o...
++代码实现 感知机的原理_Sampled Softmax训练方法数学原理思考以及代码实现
weixin_27653327的博客
12-18 250
@[toc]前言夜小白：基于表征(Representation)文本匹配、信息检索、向量召回的方法总结（用于召回、或者粗排）​zhuanlan.zhihu.com夜小白：文本匹配开山之作-DSSM论文笔记及源码阅读（类似于sampled softmax训练方式思考）​zhuanlan.zhihu.com前面两篇关于文本匹配的博客中，都用到了Sampled-softmax训练方法来加速训练，Sam...
Tensorflow的负采样函数Sampled softmax loss学习笔记
weixin_43352637的博客
07-04 2376
最近阅读了YouTube的推荐系统论文，在代码实现中用到的负采样方法我比较疑惑，于是查了大量资料，总算能够读懂关于负采样的一些皮毛。 本文主要针对tf.nn.sampled_softmax_loss这个函数进行讲解，并引申一些数学意义，偏实用性。 类别和标签 在阅读代码的过程中发现一个问题，就是代码作者先是对样本打y，打y的依据是即user最后时刻观看的视频是否正确，那么这样的话，很明显没有负样本，而且最终的损失函数用的是tf.nn.sampled_softmax_loss，很明显是多分类，那么打二分类标签
tf.nn.sampled_softmax_loss候选采样损失函数
王猛的专栏
07-18 4722
　　候选采样函数生成类别子集。类别子集需要送给候选采样损失函数计算损失，最小化候选采样损失便能训练模型。TF 提供下面两个候选采样损失函数。这两个采样损失函数的参数和返回值是一致的, 具体参数和返回值可以移步 TF 文档。 　　1. tf.nn.sampled_softmax_loss 　　这个函数通过 模型的交叉熵损失。候选类别子集由采样类别 和真实类别 组成，即 。模型最后一层输出是 , 经过...
Sampled Softmax
csdnqixiaoxin的博客
11-23 1029
阅读了TensorFlow官方文档Candidate Sampling Algorithms Reference，写一下自己关于Sampled Softmax的理解 在多类别问题中，我们常常使用softmax输出各个类别的概率。当类别数量很大时，使用softmax计算量很大。例如，我们的问题是预测一句话中的一个词，那么类别数量就是vocabulary大小。 为此，这篇论文提出了Sampled ...
Tensorflow中k.gradients()和tf.stop_gradient()用法说明
12-17
上周在实验室开荒某个代码，看到中间这么一段，对Tensorflow中的stop_gradient()还不熟悉，特此周末进行重新并总结。 y = xx + K.stop_gradient(rounded – xx) 这代码最终调用位置在tensoflow.python.ops.gen_array_ops.stop_gradient(input, name=None)，关于这段代码为什么这样写的意义在文末给出。 【stop_gradient()意义】 用stop_gradient生成损失函数w.r.t.的梯度。 【tf.gradients()理解】 tf中我们只需要设计我们自己的函数，tf提供
【深度学习】负采样技术（2）
littlemichelle
01-25 867
logits：softmax的目的是把logits映射到0,1之间，因此logits可以理解为原生概率；
基于可训练Step-size的低比特量化——LSQ: Learned Step-size Quantization
AI Flash
02-12 6461
Paper地址：https://arxiv.org/abs/1902.08153 GitHub地址 (PyTorch)：https://github.com/zhutmost/lsq-net 基本量化设置 计算结点伪量化： Weight跟Activation都采用Per-tensor量化； Scaling factor (Paper标记为Step size)是可学习参数； 量化计算公式...
采样方法
github_29374279的博客
07-18 4360
Candidate Sampling
tensorflow的legacy_seq2seq模块
YiqiangXu的博客
05-16 5011
tensorflow的legacy_seq2seq tensorflow要重新给出一套seq2seq的接口，把之前的seq2seq搬到了legacy_seq2seq下，今天读的就是来自这里的代码。目前很多代码还是使用了老的seq2seq接口，因此仍有熟悉的必要。 _extract_argmax_and_embed 1234567891011121314151617
一文搞懂Approximate Softmax：从公式到代码
Kaiyuan_sjtu的博客
06-17 367
作者按最近忙着写书，知乎和微信公众号拉下了不少。这篇文章本来是准备放在召回一章中的。但是发现写得太细了，特别是代码解析部分，都写进书里，难免有“贴代码、凑字数、占篇幅”之嫌，所以干脆放出来，以飨读者，也让大家提前感受一下本书的实战化风格。前言负采样对于召回的重要性，已经在我的《负样本为王》和《万变不离其宗》两篇文章中强调过了。但是只采样了有限几个负样本，如何模拟、逼近“召...
tensorflow学习笔记（三十）：tf.gradients 与 tf.stop_gradient() 与 高阶导数
热门推荐
Keith
12-28 5万+
gradienttensorflow中有一个计算梯度的函数tf.gradients(ys, xs)，要注意的是，xs中的x必须要与ys相关，不相关的话，会报错。 代码中定义了两个变量w1， w2， 但res只与w1相关#wrong import tensorflow as tfw1 = tf.Variable([[1,2]]) w2 = tf.Variable([[3,4]])res = tf.m
RNN聊天机器人与Beam Search [Tensorflow Seq2Seq]
一番の宝物
07-10 1万+
本博客分析了一个Tensorflow实现的开源聊天机器人项目deepQA，首先从数据集上和一些重要代码上进行了说明和阐述，最后针对于测试的情况，在deepQA项目上实现了Beam Search的方法，让模型输出的句子更加准确，修改后的源码在这里。 DeepQA DeepQA是一个Tensorflow实现的开源的seq2seq模型的聊天机器人( 传送们),出自谷歌的一篇关于对话模型的论文A Ne...
tf.nn.sampled_softmax_loss
04-06
b'tf.nn.sampled_softmax_loss'是一个TensorFlow的函数，用于计算一个样本的softmax loss。它会将原始的logits分为若干个类别，然后选取一部分样本用来估计真实的softmax loss。这个函数通常用于大规模分类任务，可以加速训练和降低内存消耗。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值