噪声标签1：Co-learning: Learning from Noisy Labels with Self-supervision

最新推荐文章于 2024-04-18 09:41:36 发布

motoight

最新推荐文章于 2024-04-18 09:41:36 发布

阅读量1.8k

点赞数 1

分类专栏：深度学习笔记文章标签：深度学习机器学习人工智能

本文链接：https://blog.csdn.net/motoight/article/details/120041972

版权

该博客介绍了Co-learning方法，它在有噪声标签的情况下，结合自监督任务与有监督任务进行协同训练。通过弱增强和强增强数据，以及MixUP技术防止过拟合，同时应用结构一致性约束来保持任务间的一致性。作者提到这种方法与Co-teaching系列方法的不同在于使用单一网络，并通过信息最大化的结构约束来提高网络稳健性。此外，还对比了Co-learning与CoMatch的区别，CoMatch侧重于在半监督场景下通过Memory Bank和图对比学习提高性能。

摘要由CSDN通过智能技术生成

前言

Co-learning: Learning from Noisy Labels with Self-supervision
发表信息：ACM MM 2021
Paper：https://arxiv.org/abs/2108.04063
Code：无

一、核心思想

核心思想：在co-teaching的基础上，通过结合自监督任务和原有有监督任务协同训练。
损失：损失分成三个部分，分别是有监督交叉熵损失，自监督的infoNCE损失和多任务的结构一致性损失。
One encoder，Two heads！
实现细节：

三个增广：weak Aug 用于有监督损失，two strong Aug 用于自监督对比损失
MixUP：由于自监督学习部分需要较长时间收敛，引入mixup延缓有监督分类头对噪声标签的过拟合

在这里插入图片描述
结构相似度约束
和之前的方法不同，这里舍去了co-teaching系列方法中的交替更新和多网络协同学习，仅使用一个encoder，通过约束自监督和有监督两个任务的信息最大化来保证网络的稳健。这里的maximize the agreement实现为两个任务得到的表示应该存在结构约束。