【论文笔记（5）ECCV2020】Graph convolutional networks for learning with few clean and many noisy labels

Abstract

在这项工作中，我们考虑了当给出几个干净的标签示例时，从噪声标签中学习分类器的问题。清洁和噪声数据的结构由每个类的图来建模，并使用图卷积网络(GCN)来预测噪声示例的类相关性。对于每一类，GCN被视为一个二元分类器，它使用加权的二元交叉熵损失函数来学习区分干净的和有噪音的示例。然后利用GCN推断的“干净”概率作为相关性度量。在学习结束任务的分类器时，每个噪声示例根据其相关性进行加权。我们在一个小样本学习问题的扩展版本上评估了我们的方法，在这个问题中，新类的几个干净的例子被额外的噪声数据补充。实验结果表明，与不清洗噪声数据和使用较少清洗实例的标准小样本分类方法相比，基于GCNs的清洗过程显著提高了分类精度。

Introduction

目前最先进的深度学习方法需要大量的人工标注数据。通过将表示学习从最终任务解耦并使用未标记、弱标记(带有噪声标记)或属于不同域或类的附加训练数据，可以减少对监督的需要。示例方法是转移学习[39]、无监督表示学习[39]、半监督学习[42]、从噪声标签学习[16]和小样本学习[33]。

然而，对于几个类，在表示学习阶段可能只有很少的、甚至没有干净的标签可用。小样本学习严重限制了结束任务上标记的样本数量，而表示是在不同类的大规模训练集上学习的[12，33，38]。然而，在许多情况下，更多带有噪声标签的数据可以被获取或容易地用于最终任务。

Douze et al等人的工作是小样本学习和额外的大规模数据的一个有趣的混合，其中标签从几个干净的标签示例传播到大规模集合。此集合没有标签，实际上包含的类比最终任务多得多。他们的方法总体上提高了分类精度，但需要额外的计算代价。这是一种转换的方法，即在推理时仍然需要大规模的收集，而不是学习参数分类器。

图一概述了我们对一个样本和噪声示例学习的清洁方法。我们使用类名Admiral从Web上抓取噪声图像，并基于视觉相似性创建邻接图。然后，我们使用图卷积网络(GCN)为每个噪声示例分配相关性分数。相关性分数显示在图像旁边。

在这项工作中，我们从几个干净的标记样本和附加的弱标记数据中学习一个分类器，而表示是在不同的类上学习的，类似于小样本学习。我们假设类名是已知的，并使用它们来搜索具有文本描述的图像集合。结果是一组具有新类别标签的图像，但可能是不正确的(噪声)。如图1所示，我们使用图形卷积网络(GCN)[17]清洗数据，该网络学习根据到干净图中图像的连接来预测每个图像的类相关性分数。然后用干净的和有噪声的图像来学习分类器，其中有噪声的例子按相关性加权。与大多数现有工作不同的是，我们的方法针对每个类独立运行，并且适用于每个类很少甚至只有一个干净的标签的情况。

贡献：

1.我们在一个大规模的弱标记集合上学习一个分类器，只有几个干净的标记示例。

2.使用GCN来清理噪声数据的：我们将GCN转换为学习区分干净和噪音数据的二元分类器，并将其推断的“干净”概率用作每个示例的相关性分数。

3.将方法应用于两个小样本的学习基准，在使用相同的没有标签的大规模数据集合下，并显示出在准确性方面的显著提高，优于Douze等人的方法。[5]

Related Wrok

带噪声标签的学习:
涉及估计或学习一个标签之间的转移矩阵[24，25，34]或知识