Multi-Objective Interpolation Training for Robustness to Label Noise

最新推荐文章于 2024-09-07 16:10:07 发布
最新推荐文章于 2024-09-07 16:10:07 发布
阅读量1.8k 收藏
点赞数 1
分类专栏： paper 文章标签： 机器学习 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44622669/article/details/121576603
版权

Multi-Objective Interpolation Training for Robustness to Label Noise

Abstraction

多目标插值训练
联合利用对比学习和分类

Introduction

  1. Multi-Objective Interpolation Training (MOIT), a framework to robustly learn in the prese of label noise by jointly exploiting synergies between contrastive and semi-supervised learning.对比学习+半监督学习
    • 对比学习：引入对比损失的正则化，最终用于半监督学习
    • 半监督学习：进行稳健的图像分类

Method

主要框架入如下
在这里插入图片描述

  1. Interpolated Contrastive Learning(ICL内插对比学习)
    增强数据的混合视图：
    在这里插入图片描述
    在对比损失中施加线性关系
    在这里插入图片描述
    Li这个公式没有完全理解，本身表示的是类似交叉熵的损失函数。(yi=yj时取1说明是对相同标签的不同样本进行判断？)
    在这里插入图片描述
    zi是经过编码和投影变换到的低维度输出，需要综合考虑样本ab(根据λ)；
    相同标签的噪声样本和干净样本可以直观的发现。如果二者分别为ab，a对应的特征是会得到另一个类别的标签，而二者混合的视图对应的标签是一致的。因为嘈杂的样本被插入另一个干净的样本，使得另一个嘈杂的样本使得更难记住嘈杂的模式。
    如果正负样本过少，对模型会产生负面影响。将 2N 个样本与 M 个内存中样本进行对比，对比方式同上，产生LMEM：
    在这里插入图片描述
  2. Semi-Supervised Classification：Label noise detection
    测量zi与yi的一致性(k-NN算法)
    在这里插入图片描述
    估计矫正分布P^
    在这里插入图片描述
    其中
    在这里插入图片描述
    计算p^与yi的交叉熵
    在这里插入图片描述
    选择一定比例的样本
    在这里插入图片描述
    根据不同类别下的中位数作为阈值γc，来平衡不同样本的分布
  3. Semi-Supervised Classification：Semi-supervised learning
    在这里插入图片描述
    在这里插入图片描述
    在此部分，用样本a和样本b计算交叉熵，如果标签在Dc中，则使用ya的标签，否则视为不干净的标签，我们使用模型输出的预测值进行计算
    hi应该是ha和hb加权计算的结果，没注意到在哪里出现。。。
  4. 最终的loss
    在这里插入图片描述
一线之隔
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
[解读] Multi-objective training of Generative Adversarial Networks with multiple discriminators
天在那边
05-22 727
本文研究了多目标优化问题, 即通过使用多个鉴别器来提升生成样本的质量, 提出一种超体积最大化方法来进行训练, 这个优化方法在训练速度和生成样本质量之间达到了较好的权衡. 论文链接: https://arxiv.org/abs/1901.08680v1 相关工作 在最近的研究中已经进行了大量的研究来克服 GAN 框架内的不稳定性, 诸如 BEGAN (Berthelot et al., 2017) 之类的一些架构已将自动编码器用作鉴别器, 并提出了新的损失函数以帮助稳定训练. 诸如 TTUR (Heusel
【学术相关】CVPR2021最新接收论文合集！22个方向100+篇论文汇总｜持续更新
fengdu78的博客
03-09 8621
报道丨极市平台导读CVPR2021结果已出，本文为CVPR最新接收论文的资源汇总贴，附有相关文章与代码链接。文章在Github上持续更新，欢迎大家 star/fork（点击阅读原文即可...
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(三)
热门推荐
yinizhilianlove的博客
02-21 3万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
检测中的precision，recall，AP，mAP
m0_37400316的博客
09-10 1035
首先得了解基本分类 PR曲线 我们当然希望检测的结果P越高越好，R也越高越好，但事实上这两者在某些情况下是矛盾的。比如极端情况下，我们只检测出了一个结果，且是准确的，那么Precision就是100%，但是Recall就很低；而如果我们把所有结果都返回，那么必然Recall必然很大，但是Precision很低。 因此在不同的场合中需要自己判断希望P比较高还是R比较高。如果是做实验研究，可以绘制Precision-Recall曲线来帮助分析。 这里我们举一个简单的例子，假设我们的数据集中共有五个待检测的
Transformer-based模型的综述：AMMUS : A Survey of Transformer-based Pretrained Models in NLP
tagagi的博客
11-01 3300
论文地址： https://arxiv.org/abs/2108.05542 1 导言 预训练的来源 最开始是基于规则的学习，后来被机器学习取代 早期机器学习需要特征工程，需要专业领域的知识，耗时 由于硬件和词嵌入的发展，类似于CNN、RNN的深度学习模型出现 问题：除词嵌入外需要从头开始训练模型、需要标记大量实例、成本很高 进而我们期望少量标记实例，尽可能少的训练步数 基于迁移学习（允许重用在源任务中学到的知识，以便在目标任务中很好地执行）的启发： 使用大规模标...
【论文合集】Awesome Label Noise Learning and Image Denoising
m0_61899108的博客
04-24 1425
噪声学习和高光谱遥感影像去噪方法的paper合集。
【CVPR2021】论文汇总列表--Part1
TomRen
05-01 2391
CVPR2021 论文汇总
CVPR2021论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
计算机视觉论文-2021-06-30
中科院AI算法工程师的博客
07-02 1520
本专栏是计算机视觉方向论文收集积累，时间：2021年6月30日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Cosmic-CoNN: A Cosmic Ray Detection Deep-Learning Framework, Dataset, and Toolkit AUTHORS: Chengyuan Xu ; Curtis McC...
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7152
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
GAN 干！！！！
最新发布
qq_56618414的博客
09-07 815
自监督学习(Self-supervised learning) 旨在对于无标签数据 ，通过设计 辅助任务（Proxy tasks） 来挖掘数据自身的表征特性作为监督信息，来提升模型的特征提取能力（PS：这里获取的监督信息不是指自监督学习所面对的原始任务标签，而是构造的辅助任务标签）。D 的训练过程：从真实数据分布和噪音变量的先验分布中采样数据，用 value function 训练一个二分类的分类器，但分类器输出的概率一直是 1 / 2 --> D 什么都分不出来 --> 分布是重合的。
【机器学习】集成学习的基本概念、Bagging和Boosting的区别以及集成学习方法在python中的运用（含python代码）
ya的博客
09-04 1306
集成学习在许多机器学习任务中都是一种非常有效的策略，尤其是在数据量较大、特征较多或者模型需要高度精确的情况下。通过合理地选择和组合不同的学习器，集成学习能够显著提升机器学习任务的性能总的来说，Bagging和Boosting都是有效的集成学习策略，但它们适用的场景和解决问题的侧重点不同。在实际应用中，选择哪种技术取决于具体的数据集和问题。
线性代数|机器学习-P35距离矩阵和普鲁克问题
scar2016的博客
09-07 759
假设有三个点x1​x2​x3​,三个点距离如下：∣∣x1​−x2​∣∣21∣∣x2​−x3​∣∣21∣∣x1​−x3​∣∣26​​11≤6。
揭开面纱--机器学习
KongMingJue的博客
09-04 957
机器学习是什么？
add padding of 0 for interpolation window 4x4 and translation [-1,1]
06-02
To add padding of 0 for an interpolation window of 4x4 and translation [-1,1], you can use the following code snippet in MATLAB: ``` % Define the interpolation window size and translation win_size = 4; translation = [-1, 1]; % Create a padding matrix with zeros padding = zeros(win_size); % Compute the indices of the padded region x_min = win_size/2 - translation(1); x_max = x_min + win_size - 1; y_min = win_size/2 - translation(2); y_max = y_min + win_size - 1; % Copy the original region to the padded region padding(x_min:x_max, y_min:y_max) = original_region; ``` In this code snippet, we first define the size of the interpolation window and the translation. We then create a padding matrix with zeros using the "zeros" function in MATLAB. We then compute the indices of the padded region based on the translation and the interpolation window size. Finally, we copy the original region to the padded region by indexing into the "padding" matrix and assigning the values from the "original_region" matrix.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值