2022-03-04-Label-Noise-Learning

最新推荐文章于 2024-04-16 09:49:32 发布
最新推荐文章于 2024-04-16 09:49:32 发布
阅读量1k 收藏 3
点赞数 1
文章标签： 机器学习 人工智能 深度学习 算法 大数据
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/cwlseu/article/details/125225329
版权
本文探讨了深度学习中噪声标注数据对模型泛化能力的影响，介绍了几种应对策略，包括NAF、AUM、早停和SOP方法，旨在减少噪声标签对模型优化的负面影响，提升模型的鲁棒性。
摘要由CSDN通过智能技术生成
layout comments title categories tags description
post
true
Label Noise Learning
blog
自然语言处理
Label Noise Learning

Label Noise Learning

@(NLP)[噪声, 主动学习]

[TOC]

序言

过参数化在深度学习时代常常被提到，它的神经网络参数个数甚至超过了 training sample 的个数，在实验中也体现出了非常好的效果。但是，一旦training samples中带有一些噪声，整个模型就趋向于过拟合，没有办法很好地泛化到测试集。一般而言，training samples带噪声的方式有两种，一是在 data points上加 Gaussian noise，二是 label noise. 我们这里主要探究第二种。

存在噪声标注数据

诸如数据增强、权重衰减、dropout和批量归一化等流行的正则化技术已经被广泛应用，但是它们本身并不能完全克服在噪声数据上过拟合问题。 1、噪声的类别 (1) instance-independent label noise: 现有大部分算算法都是针对这种类型的带噪数据进行的研究建模的，因为instance-dependent 建模比较复杂。

  • symmetric noise: 一个标签标错为其他类别的标签概率一样
  • asymmetric noise: 一个标签标错为其他类别的标签概率不一样
  • pair noise: 一个标签只会错标为对应的另外一种标签, 标错的是在这些标签对形式存在(a, b) Alt text

(2) instance-dependent label noise 2、困难 （1）深度学习模型因为其高阶的表达方式，更容易受到label noise的影响。

3、要获得一个鲁棒性的模型，方法可以大致分为三类： （1）设计使用好的损失函数 （2）训练方式: Training architectures methods （3）减少错误标注: Label correction methods. 噪声数据比重占比在8.0% ~38.5%范围内。

4、常用概念

Label Transition

Alt text

Alt text

Memorization Effect

最低0.47元/天 解锁文章
deepindeed
关注
20220304-label-noise-learning
DeepIndeed
08-30 296
layout title tags categories description date post Label Noise Learning NLP ML paper Label Noise Learning 2022-03-04 13:0...
label noisy是什么概念？
XL-STUDIO
03-03 4699
在CVPR2019的论文《Learning a Deep ConvNet for Multi-label Classification with Partial Labels》中看到label noisy这个概念，突然就想起自己处理NUS-WIDE数据库一开始就发现的问题。 刚开始处理NUS-WIDE的时候，就发现NUS-WIDE的标签不对。例如下面几张图： 这张图的标签只给了grass，没有...
Advances-in-Label-Noise-Learning:精选（最新）的带有噪声标签的学习资源列表
04-16
嘈杂的标签学习 A curated list of most recent works in Learning with Noisy Labels 内容 论文和代码（2021） 此回购专注于2019年之后的论文，有关以前的作品，请参阅（ ）。 国际学习代表大会（ICLR 2021） 会议日期：2021年5月3日-2021年5月7日 优化时-标签噪声会导致发散性很强。 使用实例相关的标签噪声进行学习：一种示例筛方法。 噪音与噪音：随机标签噪音有助于对抗固有标签噪音。 学习与特征相关的标签噪声：一种渐进的方法。 健壮的早期学习：妨碍记住嘈杂的标签。 健壮的课程学习：从干净的标签检测到嘈杂的标签自我校正。 [纸] 混合如何帮助鲁棒性和泛化？ [纸] 对未标记数据进行深度网络自训练的理论分析。 [纸] IEEE计算机视觉和模式识别会议（CVPR 2021）-更新
Noisy label learning
weixin_43702410的博客
08-09 652
Noisy Label Learning 1.f’create_noisy_data’ include cuda : numpy, random, matplotlib, pandas, tensorflow, os, sklearn Functions: class cluster_data_preprocess: visualize_data: showing the distribution of the points we gennernate get_centroids: with the
Learning with Noisy Label
weixin_42051034的博客
06-28 2582
Learning with Noisy Label学习记录总结1.1 阅读背景1.2 理论基础类1.2.1 paper: understanding deep learning requires rethinking generalization -- 2017论文解读笔记1.2.2 paper: Convexity, Classification, and Risk Bounds1.3 基于概率模型 estimate noisy label1.3.1 paper: Training deep neural
5328笔记 Advanced ML Chapter9-Learning with Noisy Data II: Label Noise
爱学习的大叔的博客
11-06 357
label nosie: 就是target y 带有噪声 目标： 找到具有标签鲁棒性的分类器，即对带noise的label进行学习，最终可预测正确的y（不带noise）。 在引入RCN和CNN前，先复习下概率的理论。 RCN: 当噪点是随机分布的，我们可以通过对称损失函数对其进行抵消。 Importance reweighting：迁移学习的domain转换 ...
【Noise-Label】《Learning from Noisy Labels with Deep Neural Networks》
bryant_meng
04-16 4207
arXiv-2014 文章目录1 Background and Motivation2 Advantages3 Innovations4 Method4.1 Bottom-up Noise Model4.2 Estimating Noise Distribution Using Clean Data4.3 Learning Noise Distribution From Noisy Data...
Awesome-Learning-with-Label-Noise:精选的带有噪音标签的学习资源列表
04-28
A curated list of resources for Learning with Noisy Labels 论文和代码 2008年NIPS-谁的选票应该更多：未知专业贴标商对标签的最佳整合。 2009-ICML-在多位专家的监督下学习：每个人都撒谎时值得信任的人。 ...
Hybrid Noise-Oriented Multilabel Learning
02-08
《Hybrid Noise-Oriented Multilabel Learning》一文通过引入Bi-Sparsity技术和Label Enrichment策略，成功地解决了多标签学习中面临的混合噪声问题。通过一系列的实验验证，证明了所提出的HNOML方法在面对不同类型...
matlab代码影响-LabelNoiseTS:标签噪音
05-22
matlab代码影响生成合成时间序列数据集以研究类别标签噪声对分类性能的影响 目录 介绍 该模块生成合成的单变量时间序列数据集，其中包含不同级别的标签噪声。 生成的数据集包括具有多边形概念的遥感数据集特异性。 该想法是考虑到野外活动协议，在该协议中，为样本标签分配了描述同质区域（例如作物田地）的多边形。 该代码支持以下期刊和会议论文： @article{pelletier2017effect, title={Effect of training class label noise on classification performances for land cover mapping with satellite image time series}, author={Pelletier, Charlotte and Valero, Silvia and Inglada, Jordi and Champion, Nicolas and Marais Sicre, Claire and Dedieu, G{\'e}rard}, journal={Remote Sensing}, vol
文献阅读：Instance-Dependent Label-Noise Learning with Manifold-Regularized Transition Matrix Estimation
窝要芝士的博客
10-22 684
文献阅读：Instance-Dependent Label-Noise Learning with Manifold-Regularized Transition Matrix Estimation
Learning to Learn from Noisy Labeled Data
weixin_38654615的博客
01-08 1421
Learning to Learn from Noisy Labeled Data 论文地址：https://arxiv.org/pdf/1812.05214.pdf 代码分享：https://github.com/LiJunnan1992/MLNT 一、 ABSTARCT DNN依赖于大量的数据，人工标注昂贵，网络上廉价的数据源往往包含不准确的数据，训练带有噪声的数据集会导致性能下降。本文提出了一个 noise-tolerant 训练算法，其中meta-learning update在常规的.
从噪声标签中学习
xys430381_1的专栏
09-25 854
综述：Image classification with deep learning in the presence of noisy labels: A survey-2019 对应的解读：学习噪声(Deep Learning Noisy Labels) Resource： Awesome-Learning-with-Label-Noise https://github.com/gorkemalgan/deep_learning_with_noisy_labels_lit
探索Awesome Learning with Label Noise：打造稳健的深度学习模型
gitblog_00075的博客
03-23 243
探索Awesome Learning with Label Noise：打造稳健的深度学习模型 项目地址:https://gitcode.com/subeeshvasu/Awesome-Learning-with-Label-Noise 项目简介 在人工智能和机器学习领域，Awesome Learning with Label Noise 是一个专注于研究如何处理标注错误问题的开源项目。由Sube...
探索《 Advances in Label Noise Learning》：处理标签噪声的新视角
最新发布
gitblog_00043的博客
04-16 619
探索《 Advances in Label Noise Learning》：处理标签噪声的新视角 项目地址:https://gitcode.com/weijiaheng/Advances-in-Label-Noise-Learning 在机器学习领域，数据的质量对模型的性能至关重要，而其中一个问题常常被忽视，那就是标签噪声。在实际应用中，由于各种原因（如人工标注错误、数据采集问题等），训练数据中...
论文阅读：Learning from Noisy Labels with Complementary Loss Functions
qq_44622669的博客
11-25 1143
@TOC 整理了文章的关键内容，内容源自Jo-SRC: A Contrastive Approach for Combating Noisy Labels。 Abstract we train the net
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning 解读
weixin_61445075的博客
03-14 1433
Noisy label learning, semi-supervised learning, and contrastive learning are three different strategies for designing learning processes requiring less annotation cost.
Learning with noisy labels总结
热门推荐
ferriswym的博客
04-26 1万+
Learning with noisy labels总结Deep Label Distribution Learning With Label AmbiguityJoint Optimization Framework for Learning with Noisy Labels欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入...
你能用表格来表示SVM,TSVM,TBSVM,LSTSVM,CTSVM之间的联系和区别吗
04-23
当然可以，下面是SVM,TSVM,TBSVM,LSTSVM,CTSVM之间的联系和区别的表格表示： | Algorithm | Support Vector Machine (SVM) | Transductive Support Vector Machine (TSVM) | Twin Boosted Support Vector Machine (TBSVM) | Least Squares Twin Support Vector Machine (LSTSVM) | Correntropy Induced Twin Support Vector Machine (CTSVM) | | --- | --- | --- | --- | --- | --- | | Type | Supervised Learning | Semi-Supervised Learning | Semi-Supervised Learning | Semi-Supervised Learning | Semi-Supervised Learning | | Objective | Maximize Margin | Maximize Margin | Find Optimal Threshold | Minimize Least Squares Objective | Minimize Correntropy Objective | | Kernel Trick | Yes | Yes | Yes | Yes | Yes | | Solution | Convex Optimization | Convex Optimization | Boosting Algorithm | Quadratic Optimization | Convex Optimization | | Regularization | L2 Regularization | L2 Regularization | Not Applicable | L2 Regularization | L2 Regularization | | Advantages | Efficient with Large data sets, Good Generalization | Can Utilize Unlabeled data, Improved Classification | Improved Classification, Handles Label Noise | Improved Classification, Can Handle Non-Linear data sets | Improved Classification in Presence of Noise and Outliers | | Disadvantages | Can be Sensitive to Data Balance, Noisy Data Can Affect Performance | Time-consuming due to Predicting on Unlabeled data, Sensitivity to Initialization | Requires Multiple Parameters | Computationally Expensive with Large datasets | Requires Parameter Tuning, Sensitivity to Initialization |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值