20220304-label-noise-learning

最新推荐文章于 2024-04-16 09:49:32 发布
最新推荐文章于 2024-04-16 09:49:32 发布
阅读量287 收藏
点赞数
文章标签： 机器学习 人工智能 深度学习 算法 python
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/cwlseu/article/details/126607045
版权
本文探讨了深度学习模型在噪声标注数据上的过拟合问题，特别是标签噪声的影响。研究了噪声的类别，如对称、非对称和配对噪声，以及深度学习模型对此的敏感性。提出了解决方案，包括设计损失函数、训练策略和错误标注修正方法。文献调研部分介绍了NAF、AUM、早停策略以及SOP等方法，这些方法通过识别和减轻噪声样本的影响，提高模型的泛化能力。
摘要由CSDN通过智能技术生成
layout title tags categories description date
post
Label Noise Learning
NLP
ML
paper
Label Noise Learning
2022-03-04 13:05:18 -0800

序言

过参数化在深度学习时代常常被提到，它的神经网络参数个数甚至超过了 training sample 的个数，在实验中也体现出了非常好的效果。但是，一旦training samples中带有一些噪声，整个模型就趋向于过拟合，没有办法很好地泛化到测试集。一般而言，training samples带噪声的方式有两种，一是在 data points上加 Gaussian noise，二是 label noise. 我们这里主要探究第二种。

存在噪声标注数据

诸如数据增强、权重衰减、dropout和批量归一化等流行的正则化技术已经被广泛应用，但是它们本身并不能完全克服在噪声数据上过拟合问题。

1、噪声的类别

(1) instance-independent label noise: 现有大部分算算法都是针对这种类型的带噪数据进行的研究建模的，因为instance-dependent 建模比较复杂。

  • symmetric noise: 一个标签标错为其他类别的标签概率一样
  • asymmetric noise: 一个标签标错为其他类别的标签概率不一样
  • pair noise: 一个标签只会错标为对应的另外一种标签, 标错的是在这些标签对形式存在(a, b) Alt text

(2) instance-dependent label noise

2、困难

（1）深度学习模型因为其高阶的表达方式，更容易受到label noise的影响。

3、要获得一个鲁棒性的模型，方法可以大致分为三类：

（1）设计使用好的损失函数 （2）训练方式: Training architectures methods （3）减少错误标注: Label correction methods. 噪声数据比重占比在8.0% ~38.5%范围内。

4、常用概念

Label Transition

Alt text

Alt text

Memorization Effect

最低0.47元/天 解锁文章
deepindeed
关注
2022-03-04-Label-Noise-Learning
DeepIndeed
03-10 1066
layout comments title categories tags description post true Label Noise Learning blog 自然语言处理 Label Noise Learning L...
Noisy label learning
weixin_43702410的博客
08-09 642
Noisy Label Learning 1.f’create_noisy_data’ include cuda : numpy, random, matplotlib, pandas, tensorflow, os, sklearn Functions: class cluster_data_preprocess: visualize_data: showing the distribution of the points we gennernate get_centroids: with the
Learning with Noisy Label
weixin_42051034的博客
06-28 2557
Learning with Noisy Label学习记录总结1.1 阅读背景1.2 理论基础类1.2.1 paper: understanding deep learning requires rethinking generalization -- 2017论文解读笔记1.2.2 paper: Convexity, Classification, and Risk Bounds1.3 基于概率模型 estimate noisy label1.3.1 paper: Training deep neural
Advances-in-Label-Noise-Learning:精选（最新）的带有噪声标签的学习资源列表
04-16
嘈杂的标签学习 A curated list of most recent works in Learning with Noisy Labels 内容 论文和代码（2021） 此回购专注于2019年之后的论文，有关以前的作品，请参阅（ ）。 国际学习代表大会（ICLR 2021） 会议日期：2021年5月3日-2021年5月7日 优化时-标签噪声会导致发散性很强。 使用实例相关的标签噪声进行学习：一种示例筛方法。 噪音与噪音：随机标签噪音有助于对抗固有标签噪音。 学习与特征相关的标签噪声：一种渐进的方法。 健壮的早期学习：妨碍记住嘈杂的标签。 健壮的课程学习：从干净的标签检测到嘈杂的标签自我校正。 [纸] 混合如何帮助鲁棒性和泛化？ [纸] 对未标记数据进行深度网络自训练的理论分析。 [纸] IEEE计算机视觉和模式识别会议（CVPR 2021）-更新
【Noise-Label】《Learning from Noisy Labels with Deep Neural Networks》
bryant_meng
04-16 4189
arXiv-2014 文章目录1 Background and Motivation2 Advantages3 Innovations4 Method4.1 Bottom-up Noise Model4.2 Estimating Noise Distribution Using Clean Data4.3 Learning Noise Distribution From Noisy Data...
Awesome-Learning-with-Label-Noise:精选的带有噪音标签的学习资源列表
04-28
A curated list of resources for Learning with Noisy Labels 论文和代码 2008年NIPS-谁的选票应该更多：未知专业贴标商对标签的最佳整合。 2009-ICML-在多位专家的监督下学习：每个人都撒谎时值得信任的人。 ...
Hybrid Noise-Oriented Multilabel Learning
02-08
《Hybrid Noise-Oriented Multilabel Learning》一文通过引入Bi-Sparsity技术和Label Enrichment策略，成功地解决了多标签学习中面临的混合噪声问题。通过一系列的实验验证，证明了所提出的HNOML方法在面对不同类型...
5328笔记 Advanced ML Chapter9-Learning with Noisy Data II: Label Noise
爱学习的大叔的博客
11-06 348
label nosie: 就是target y 带有噪声 目标： 找到具有标签鲁棒性的分类器，即对带noise的label进行学习，最终可预测正确的y（不带noise）。 在引入RCN和CNN前，先复习下概率的理论。 RCN: 当噪点是随机分布的，我们可以通过对称损失函数对其进行抵消。 Importance reweighting：迁移学习的domain转换 ...
文献阅读：Instance-Dependent Label-Noise Learning with Manifold-Regularized Transition Matrix Estimation
窝要芝士的博客
10-22 675
文献阅读：Instance-Dependent Label-Noise Learning with Manifold-Regularized Transition Matrix Estimation
matlab代码影响-LabelNoiseTS:标签噪音
05-22
matlab代码影响生成合成时间序列数据集以研究类别标签噪声对分类性能的影响 目录 介绍 该模块生成合成的单变量时间序列数据集，其中包含不同级别的标签噪声。 生成的数据集包括具有多边形概念的遥感数据集特异性。 该想法是考虑到野外活动协议，在该协议中，为样本标签分配了描述同质区域（例如作物田地）的多边形。 该代码支持以下期刊和会议论文： @article{pelletier2017effect, title={Effect of training class label noise on classification performances for land cover mapping with satellite image time series}, author={Pelletier, Charlotte and Valero, Silvia and Inglada, Jordi and Champion, Nicolas and Marais Sicre, Claire and Dedieu, G{\'e}rard}, journal={Remote Sensing}, vol
Learning to Learn from Noisy Labeled Data
weixin_38654615的博客
01-08 1412
Learning to Learn from Noisy Labeled Data 论文地址：https://arxiv.org/pdf/1812.05214.pdf 代码分享：https://github.com/LiJunnan1992/MLNT 一、 ABSTARCT DNN依赖于大量的数据，人工标注昂贵，网络上廉价的数据源往往包含不准确的数据，训练带有噪声的数据集会导致性能下降。本文提出了一个 noise-tolerant 训练算法，其中meta-learning update在常规的.
从噪声标签中学习
xys430381_1的专栏
09-25 836
综述：Image classification with deep learning in the presence of noisy labels: A survey-2019 对应的解读：学习噪声(Deep Learning Noisy Labels) Resource： Awesome-Learning-with-Label-Noise https://github.com/gorkemalgan/deep_learning_with_noisy_labels_lit
探索Awesome Learning with Label Noise：打造稳健的深度学习模型
gitblog_00075的博客
03-23 239
探索Awesome Learning with Label Noise：打造稳健的深度学习模型 项目地址:https://gitcode.com/subeeshvasu/Awesome-Learning-with-Label-Noise 项目简介 在人工智能和机器学习领域，Awesome Learning with Label Noise 是一个专注于研究如何处理标注错误问题的开源项目。由Sube...
探索《 Advances in Label Noise Learning》：处理标签噪声的新视角
最新发布
gitblog_00043的博客
04-16 565
探索《 Advances in Label Noise Learning》：处理标签噪声的新视角 项目地址:https://gitcode.com/weijiaheng/Advances-in-Label-Noise-Learning 在机器学习领域，数据的质量对模型的性能至关重要，而其中一个问题常常被忽视，那就是标签噪声。在实际应用中，由于各种原因（如人工标注错误、数据采集问题等），训练数据中...
论文阅读：Learning from Noisy Labels with Complementary Loss Functions
qq_44622669的博客
11-25 1127
@TOC 整理了文章的关键内容，内容源自Jo-SRC: A Contrastive Approach for Combating Noisy Labels。 Abstract we train the net
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning 解读
weixin_61445075的博客
03-14 1408
Noisy label learning, semi-supervised learning, and contrastive learning are three different strategies for designing learning processes requiring less annotation cost.
Learning with noisy labels总结
热门推荐
ferriswym的博客
04-26 1万+
Learning with noisy labels总结Deep Label Distribution Learning With Label AmbiguityJoint Optimization Framework for Learning with Noisy Labels欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入...
学习笔记：Learning from Noisy Labels with Distillation
m0_59713773的博客
05-03 276
因为具有噪声标签的大量数据相对容易获得，所以从噪声标签学习的能力在许多视觉识别任务中非常有用。在传统意义上，标签噪声被视为统计异常值，并且已经提出了诸如重要性重新加权和自举之类的技术来缓解该问题。根据本文作者的观察，现实世界的噪声标签表现出作为真实标签的多模特性，而不是表现得像独立的随机异常值。因此提出了一个统一的蒸馏框架，使用“侧面”信息，包括知识图谱中的小清理数据集和标签关系，以“对冲”从嘈杂标签中学习的风险。
找几篇近三年关于图像分类的外文文献，附上代码地址
06-13
以下是三篇近三年关于图像分类的外文文献和相关代码地址： 1. 论文题目："Dual Attention Network for Scene Segmentation" 论文作者：Jun Fu, Jing Liu, Haijie Tian, Zhiwei Fang, and Hanqing Lu 期刊/会议：CVPR 2019 论文简介：本文提出了一种基于双重注意力机制的图像分类方法，称为Dual Attention Network（DAN）。该方法可以有效地捕捉图像中的全局和局部信息，并在场景分割任务中实现了最先进的性能。此外，本文还提出了一种新的注意力损失函数，用于训练DAN。 代码地址：https://github.com/junfu1115/DANet 2. 论文题目："A Stronger Baseline for ImageNet Classification" 论文作者：Saining Xie, Ross Girshick, Piotr Dollár, Zhuowen Tu, and Kaiming He 期刊/会议：CVPR 2020 论文简介：本文提出了一种新的图像分类网络，称为Swin Transformer。该网络基于Transformer架构，并在ImageNet数据集上实现了最先进的性能。Swin Transformer具有更高的计算效率和更好的可扩展性，可以应用于各种计算机视觉任务。 代码地址：https://github.com/microsoft/Swin-Transformer 3. 论文题目："Self-Label-Cleaner: Label Noise Detection and Joint Learning with Clean Labels" 论文作者：Jiequan Cui, Hua Yang, Yuzhuo Ren, and Hongkai Xiong 期刊/会议：ICCV 2021 论文简介：本文提出了一种新的图像分类方法，称为Self-Label-Cleaner（SLC）。该方法可以检测和修复标签噪声，并在深度神经网络中实现联合学习。SLC采用一种基于特征相似度的标签清洗方法，可以在不需要额外标注的情况下提高图像分类的准确率。 代码地址：https://github.com/JiequanCui/Self-Label-Cleaner
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值