论文阅读：Learning from Noisy Labels with Complementary Loss Functions

最新推荐文章于 2023-05-03 18:46:10 发布
最新推荐文章于 2023-05-03 18:46:10 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： paper 文章标签： python 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44622669/article/details/121437207
版权
本文探讨了在处理带有噪声标签的数据时，交叉熵损失函数（CELoss）容易过拟合，而均方误差（MAE）损失函数可能欠拟合的问题。作者提出结合两者，利用互补损失函数来改善模型训练。在预热阶段使用CELoss，后续阶段则引入稳定输出的简单样本和困难样本，通过集成学习和伪标签策略减少过拟合，提高学习效率。实验表明，这种策略在复杂数据集上表现更优。
摘要由CSDN通过智能技术生成

Learning from Noisy Labels with Complementary Loss Functions


整理了文章的关键内容，内容源自 Learning from Noisy Labels with Complementary Loss Functions。

Abstract

  • 鲁棒损失函数：容易发生欠拟合，可能不能完全学习到数据集的特征
  • CE交叉熵损失函数：容易过拟合，通过迭代会过拟合噪声标签
    作者联合两种损失函数进行训练，实现互补

Introduction

  1. 作者将现在的噪声处理方式分为以下四大类：
    • label transition matrix噪声转移矩阵
    • importance reweighting样本重新加权
    • self/co-training strategy从模型本身或协同学习的模型中学习
    • the robust loss functions鲁棒的损失函数
  2. robust loss functions可以有效防止过拟合，但会出现欠拟合问题；
    CELoss不易出现欠拟合，但在噪声数据集中会过拟合；
    已经有相关工作将二者结合，但是其只有部分鲁棒，对复杂数据集效果不佳

Method

  1. 现有方法的假设：标签噪声是均匀或者类相关的
  2. CE和MAE在噪声鲁棒性上：
    在这里插入图片描述
    如果考虑样本类别的整体分布是均匀的
    在这里插入图片描述
    可以发现MAE满足对称条件，在文献中可以知道MAE对满足假设的噪声是鲁棒的
    相反CELoss是标签敏感的
  3. CE和MAE在学习效率上：
    CE和MAE对模型参数求梯度：
    在这里插入图片描述
    显而易见，当在干净的数据集中，fj(x)如果很小(不接近1，预测不准)，那么CE带来的梯度很大；但是MAE对所有预测的态度是一致的，因此拟合速度较慢，容易欠拟合
    欠拟合问题导致归一化loss不能独立作为loss函数
  4. 给出结论，即loss函数的选取是在过拟合和欠拟合中找折中
  5. Learning with Complementary Loss Functions
    主要算法：
    在这里插入图片描述
    Twarmup之前，模型可以直接从原始数据集用CELoss直接学习
    Twarmup之后，CELoss有过拟合趋势，此时采用Complementary Loss
  • Eq(7)：
    在这里插入图片描述
    多个模型输出的平均值作为预测值（集成学习产生）
  • 生成伪标签数据集 B ~ \tilde{B} B~
    在这里插入图片描述
  • 作者认为简单的样本在不同的学习迭代中具有稳定的输出，困难的样本具有不稳定的预测
    作者使用熵较低的预测值作为新一轮的伪标签数据集 B ~ \tilde{B} B~’
    在这里插入图片描述
  • 选择一定的硬样本作为补充
    在这里插入图片描述
  • 计算总的loss
    在这里插入图片描述

Reason

  1. 简单样本在不同时期一般具有稳定的输出。简单学习了数据集的结构特征后，可以有效生成一些伪标签来使得CELoss的过拟合趋势减小
  2. 硬样本可能带有边界相关的决策知识，作者发现用简单样本，硬样本和随机样本的训练如下，纯简单样本效果不如另外两个
    在这里插入图片描述
一线之隔
关注
专栏目录
co-learning:learning from noisy labels with self-supervision 解读
weixin_61445075的博客
03-26 2254
co-learning:learning from noisy labels with self-supervision摘要novelties传统方法的limitationsrelated work方法实验 摘要 受到co-training的启发，作者将supervised learning和self-supervised learning 结合起来。
2022-03-04-Label-Noise-Learning
DeepIndeed
03-10 1084
layout comments title categories tags description post true Label Noise Learning blog 自然语言处理 Label Noise Learning L...
Learning from Noisy Labels with Deep Neural Networks: A Survey
weixin_42051034的博客
08-21 2362
Learning from Noisy Labels with Deep Neural Networks: A SurveyRelated SurveysPRELIMINARIESA. Supervised Learning with Noisy LabelsB. Taxonomy of Label NoiseC. Non-deep Learning ApproachesDEEP LEARNING APPROACHESA. Robust Loss FunctionB. Robust Architecture
Noisy label learning
weixin_43702410的博客
08-09 652
Noisy Label Learning 1.f’create_noisy_data’ include cuda : numpy, random, matplotlib, pandas, tensorflow, os, sklearn Functions: class cluster_data_preprocess: visualize_data: showing the distribution of the points we gennernate get_centroids: with the
Learning with Noisy Label
weixin_42051034的博客
06-28 2581
Learning with Noisy Label学习记录总结1.1 阅读背景1.2 理论基础类1.2.1 paper: understanding deep learning requires rethinking generalization -- 2017论文解读笔记1.2.2 paper: Convexity, Classification, and Risk Bounds1.3 基于概率模型 estimate noisy label1.3.1 paper: Training deep neural
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8804
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7217
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
CVPR 2019 论文汇总（按方向进行论文划分）
热门推荐
鬼刀
05-28 3万+
cvpr2019 accepted papers title（官方分类，需科学前往） Github论文汇总链接（欢迎star) 论文PDF下载（更新中，提取码：osvy） 论文解读汇总 目录：(也欢迎大家推荐自己的CVPR2019文章，以下篇幅较大，分类如有错误欢迎留言指出和补充谢谢~） 检测38分割50分类、识别19跟踪20人脸12人体姿态估计/手...
标签噪声：综述 Learning from Noisy Labels with Deep Neural Networks: A Survey
doctor_strange****
09-19 1万+
Learning from Noisy Labels with DNN: Robust architecture, robust regularization, robust loss function, loss adjustment, sample selection
Learning with noisy labels总结
ferriswym的博客
04-26 1万+
Learning with noisy labels总结Deep Label Distribution Learning With Label AmbiguityJoint Optimization Framework for Learning with Noisy Labels欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入...
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning 解读
weixin_61445075的博客
03-14 1426
Noisy label learning, semi-supervised learning, and contrastive learning are three different strategies for designing learning processes requiring less annotation cost.
基于深度神经网络的噪声标签学习
华为云官方博客
04-14 3327
摘要：介绍带噪学习领域前沿方法，解决不完美场景下的神经网络优化策略，旨在提升模型性能。
噪声标签1：Co-learning: Learning from Noisy Labels with Self-supervision
motoight的博客
09-01 1856
前言 Co-learning: Learning from Noisy Labels with Self-supervision 发表信息：ACM MM 2021 Paper：https://arxiv.org/abs/2108.04063 Code：无 一、核心思想 核心思想：在co-teaching的基础上，通过结合自监督任务和原有有监督任务协同训练。 损失：损失分成三个部分，分别是有监督交叉熵损失，自监督的infoNCE损失和多任务的结构一致性损失。 实现细节： 三个增广：weak Aug 用于有
学习笔记：Learning from Noisy Labels with Distillation
m0_59713773的博客
05-03 291
因为具有噪声标签的大量数据相对容易获得，所以从噪声标签学习的能力在许多视觉识别任务中非常有用。在传统意义上，标签噪声被视为统计异常值，并且已经提出了诸如重要性重新加权和自举之类的技术来缓解该问题。根据本文作者的观察，现实世界的噪声标签表现出作为真实标签的多模特性，而不是表现得像独立的随机异常值。因此提出了一个统一的蒸馏框架，使用“侧面”信息，包括知识图谱中的小清理数据集和标签关系，以“对冲”从嘈杂标签中学习的风险。
什么是欠拟合现象_过拟合与欠拟合
weixin_39855843的博客
01-10 1377
什么是过拟合，欠拟合？1.过拟合：学习器把训练样本学得"太好了"，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质,这样就会导致泛化能力下降,这就是过拟合。换一种说法就是模型过度拟合，在训练集（training set）上表现好，但是在测试集上效果差，也就是说在已知的数据集合中非常好，但是在添加一些新的数据进来训练效果就会差很多，造成这样的原因是考虑影响因素太多，超出自变量的...
【手把手】如何使用置信学习cleanlab对数据集进行去噪
阿里武的技术博客
09-08 8060
前言 在做一个项目的时候，发现数据集噪声非常多，项目是是一个文本分类问题， 但是数据集中经常出现 label 错误的情况， 也就是所谓的 label noise问题，在这样的数据集对模型进行训练效果非常差。关于label noise感兴趣可以看 Noisy Label 20 篇论文纵览 ，也是一个研究的热门方向，且对于工业界意义很大。 笔者在经过一些相关的调研之后， 从实现难度，教程数量， 原理理解这些方面角度，最终选取置信学习这种方式对数据集合进行去噪 置信学习相关介绍 那什么是置信学习呢？这个概念来自一
置信学习：让样本中的“脏数据“原形毕露
hellozhxy的博客
07-07 6834
在实际工作中，你是否遇到过这样一个问题或痛点：无论是通过哪种方式获取的标注数据，数据标注质量可能不过关，存在一些错误？亦或者是数据标注的标准不统一、存在一些歧义？特别是badcase反馈回来，发现训练集标注的居然和badcase一样？如下图所示，QuickDraw、MNIST和Amazon Reviews数据集中就存在错误标注。 为了快速迭代，大家是不是常常直接人工去清洗这些“脏数据”？（笔者也经常这么干～）。但数据规模上来了咋整？有没有一种方法能够自动找出哪些错误标注的样本呢？基于此，本文尝试提供一
learning with neighbor consistency for noisy labels
最新发布
09-17
学习邻居一致性是一种用于处理噪声标签的方法。在现实中，数据集中的标签常常会受到一些错误或噪声的影响，这会对模型的训练和泛化能力造成不利影响。而学习邻居一致性则通过考虑样本的邻居关系来进一步提高模型的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值