【论文阅读】NIPS2018 Generalized Cross Entropy Loss for Training Deep Neural Networks with Noisy Labels

最新推荐文章于 2023-12-28 21:58:13 发布
最新推荐文章于 2023-12-28 21:58:13 发布
阅读量4.7k 收藏 4
点赞数 4
分类专栏： 机器学习 文章标签： 深度学习 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010567574/article/details/109500235
版权

论文地址：https://papers.nips.cc/paper/8094-generalized-cross-entropy-loss-for-training-deep-neural-networks-with-noisy-labels.pdf
针对带噪数据的训练学习，直接选取CCE(Categorical Cross Entropy)作为loss function会导致模型在噪声数据上overfitting，AAAI2017 Robust Loss Functions under Label Noise for Deep Neural Networks已经证明选取mean absolute error (MAE)
可以有效抑制噪声数据，但MAE存在收敛速度慢、训练困难的问题，本文提出一种综合CCE/MAE优势、避免其劣势的loss function，在带噪数据学习上取得更好效果；
在这里插入图片描述
CCE和MAE的梯度计算如上图，从CCE的梯度中可看出，每个样本有一个权重在这里插入图片描述
样本越难学习，f值（模型输出）越小，权重更高，因此CCE偏向困难样本

最低0.47元/天 解锁文章
suvedo
关注
  • 4
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
NIPS2012-ImageNet Classification with Deep Convolutional Neural Networks
05-20
图像分类的一个里程碑，另外一个经典的CNN网络！
Neural Networks—Tricks of the Trade (2nd Edition).pdf
08-22
It is our belief that researchers and practitioners acquire, through experience and word-of-mouth, techniques and heuristics that help them successfully apply neural networks to difficult real world ...
对标签噪声鲁棒的广义交叉熵损失 (Generalized Cross Entropy)
suredied的博客
02-01 5379
在人工智能算法的实际应用场景中，不可避免地会出现训练数据误标现象，即训练数据集上存在标签噪声。这会降低所训模型的泛化能力。尤其是对于深度神经网络这种描述能力极强的模型，标签噪声对推理精度的影响甚或是灾难性的。论文证实了一个简单的两层网络就能记住所有随机分配的标签。 本篇博文将介绍一种对标签噪声鲁棒的损失函数，即General Cross Entropy (GCE)。这种损失函数在2018年的NIPS会议论文中被提出，其集成了Mean Absolute Error (MAE)损失函数的噪声鲁棒性，以及传统的C
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
09-18
今天小编就为大家分享一篇pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
【论文简述】Rethinking Cross-Entropy Loss for Stereo Matching Networks（arxiv 2023）
最新发布
qq_43307074的博客
12-28 1144
【论文简述】Rethinking Cross-Entropy Loss for Stereo Matching Networks（arxiv 2023）
# cross-entropy(交叉熵)损失函数
Chenglin(Ben) Yu's Miracle
07-10 2197
cross-entropy(交叉熵) 参考文献 https://ml-cheatsheet.readthedocs.io/en/latest/loss_functions.html#cross-entropy 交叉熵是个数，是机器学习损失函数中的一种。 交叉熵损失函数也叫做log损失函数。交叉熵损失函数measures the performance of a classification mod...
Cross Entropy (Loss)
maxzcl的博客
05-08 758
Cross Entropy https://en.wikipedia.org/wiki/Cross_entropy Cross Entropy Loss https://towardsdatascience.com/cross-entropy-loss-function-f38c4ec8643e A Gentle Introduction to Cross-Entropy for Machine Learning
Cross Entropy Loss（交叉熵）快速理解
qq_42090006的博客
03-15 1146
监督学习分为两大类：分类问题和回归问题。简单来说，分类问题目标输出的是离散值，回归问题目标输出的是连续值。但是无论是哪种问题，神经网络模型的效果及优化的目标都是通过损失函数来定义的。 对于回归问题常用的损失函数有：均方误差(MSE)，平均绝对值误差（也称L1损失）等。 对于分类问题，常用的损失函数则为交叉熵（Cross Entropy Loss）。 我们知道，在神经网络中，softma...
imagenet-classification-with-deep-convolutional-neural-networks原版和翻译..rar
06-09
《ImageNet分类与深度卷积神经网络》是深度学习领域的一篇里程碑式论文，由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton于2012年在NIPS会议上发表。这篇论文引入了AlexNet，一个深度卷积神经网络（CNN）模型，...
SafetyNets: Verifiable Execution of Deep Neural Networks on an Untrusted Cloud
12-17
SafetyNets: Verifiable Execution of Deep Neural Networks on an Untrusted Cloud NIPS2017会议论文
caffe 加权交叉熵损失函数 SigmoidCrossEntropyLoss
12-24
论文中"Holistically-Nested Edge Detection"使用的加权损失函数，具体用法见博客http://blog.csdn.net/majinlei121/article/details/78884531
SpCo-NIPS 2022 论文阅读详细笔记
10-30
《从图谱视角重新审视图对比学习——NeurIPS 2022论文解析》 图对比学习（Graph Contrastive Learning, GCL）是近年来在无监督或自监督学习领域中备受关注的一种方法，尤其在处理图数据时，它能够有效地学习到节点...
cross entropy loss_深度解析Faster RCNN (3)---从loss到全局解析
weixin_39607710的博客
11-21 147
前言接着上一篇，我们这篇将从loss角度出发，来解析FasterRCNN的精髓。4.从loss到全局解析实战上面已经说过了，不知各位老爷有没有成功跑起来，（什么？没有跑起来？那我就不知道了，要不你们私信我吧，我“有时间”看看）。 不知道各位老爷们曾经有过类似于VGG、Inception v3物体分类模型的实战？（没有也没关系），大致流程是这样的： 图片数据集准备 搭建网络 定义损失函数，优化器，学...
pytorch　中的　CrossEntropyloss
SenPaul的博客
06-15 942
比较好的介绍pytorch中的CrossEntropyLoss的一篇文章 https://www.jianshu.com/p/a6131515ee1d
广义交叉熵 GCE Generalized Cross Entropy Loss 的解释
t20134297的博客
04-18 2506
Generalized Cross Entropy Loss for Training Deep Neural Networks with Noisy Labels 论文链接：https://arxiv.org/pdf/1805.07836.pdf GCE的定义如下所示： Lq(f(x),ej)=(1−fj(x)q)qL_q(f(x),e_j)=\frac{(1-f_j(x)^q)}{q}Lq​(f(x),ej​)=q(1−fj​(x)q)​ MAE损失定义如下： LMAE(f(x),ej)=2(1−fj(
[论文解读] Cross-Entropy Based Testing
年糕的博客
03-01 968
Cross-Entropy Based Testing 文章目录Cross-Entropy Based Testing简介摘要介绍CE 测试方法流程用途举例背景优化问题中的交叉熵方法交叉熵公式基于CE方法对图形优化问题的应用性能函数概率更新方法预备定义将交叉熵用于测试算法算法流程各部分组成改进性能的启发式应用 简介 论文标题 Cross-Entropy Based Testing 基于交叉熵的测...
交叉熵损失函数（Cross Entropy Loss）
热门推荐
SongGu1996的博客
08-10 10万+
基础不牢，地动山摇，读研到现在有一年多了，发现自己对很多经常打交道的知识并不了解，仅仅是会改一改别人的代码，这使我感到非常焦虑，自此开始我的打基础之路。如果博客中有错误的地方，欢迎大家评论指出，我们互相监督，一起学习进步。 交叉熵损失函数（Cross Entropy Loss）在分类任务中出镜率很高，在代码中也很容易实现，调用一条命令就可以了，那交叉熵是什么东西呢？为什么它可以用来作为损失函数？...
Hinton等人最新研究：大幅提升模型准确率，标签平滑技术到底怎么用?
AI科技大本营
07-06 2104
作者 |Rafael Müller , Simon Kornblith, Geoffrey Hinton译者 | Rachel责编 | Jane出品 | AI科技大本营...
论文阅读【用监督对比学习建模域外检测(OOD Detection) 的 鉴别表示】
anxiaomai520的博客
04-01 1624
用监督对比学习 建模域外检测(OOD Detection) 的 鉴别表示 Modeling Discriminative Representations for Out-of-Domain Detection with Supervised Contrastive Learning
请给出MIA，MICCAI，MICCAI，NIPS，CVPR，ICLR在2018到2023年的语义分割方面的高亮工作
05-26
好的，以下是MIA、MICCAI、NIPS、CVPR、ICLR在2018到2023年的语义分割方面的一些高亮工作： 1. MIA：2018年的MIA会议上，一篇名为“Fully Convolutional Networks for Semantic Segmentation”的论文提出了一种基于全卷积神经网络的语义分割方法，该方法能够在保留图像细节的同时实现高精度的分割结果。 2. MICCAI：2019年的MICCAI会议上，一篇名为“Attention U-Net: Learning Where to Look for the Pancreas”的论文提出了一种名为Attention U-Net的方法，用于进行胰腺分割。该方法结合了注意力机制和U-Net结构，能够更好地捕捉图像中感兴趣的区域。 3. NIPS：2019年的NIPS会议上，一篇名为“Semantic Segmentation with Object-Centric Variational Auto-Encoder”的论文提出了一种基于变分自编码器的语义分割方法，该方法能够生成具有高质量语义标签的图像。 4. CVPR：2020年的CVPR会议上，一篇名为“DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs”的论文提出了一种名为DeepLab的方法，用于进行语义分割。该方法结合了深度卷积网络、空洞卷积和全连接条件随机场，能够在不同分辨率下实现高质量的分割结果。 5. ICLR：2021年的ICLR会议上，一篇名为“Semantic Image Synthesis via Adversarial Learning”的论文提出了一种基于对抗学习的语义图像合成方法。该方法能够从语义标签生成具有高质量的图像，并在图像合成中保留了原始语义信息。 6. MICCAI：2023年的MICCAI会议上，一篇名为“Learning to Segment Medical Images with Limited Annotated Data”的论文提出了一种基于有限标注数据的医学图像分割方法。该方法结合了元学习和数据增强技术，能够在只有少量标注数据的情况下实现高质量的分割结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值