Learning to Learn from Noisy Labeled Data

知乎链接：Learning to Learn from Noisy Labeled Data

论文地址：https://arxiv.org/pdf/1812.05214.pdf

代码分享：https://github.com/LiJunnan1992/MLNT

 

一、 ABSTARCT

DNN依赖于大量的数据，人工标注昂贵，网络上廉价的数据源往往包含不准确的数据，训练带有噪声的数据集会导致性能下降。本文提出了一个 noise-tolerant 训练算法，其中meta-learning update在常规的梯度更新之前(因为网络包含两部分loss，meta loss 的更新是在classification loss 之前的)。本文针对每一个mini-batch，都会人工合成一些噪声，形成一个这个mini-batch的噪声集合（就是会有M个重复的mini-batch 数据，但是它们label里面的噪声是不一样的），然后用这个噪声集合进行元学习，通过和teacher-network 的训练结果保持一致来使得网络不受噪声的影响。我们在CIFAR-10 and the Clothing1M数据集上做了大量实验，实验结果表明了模型的优越性。

 

二、 Introduction

对于DNN需要的大量监督信息，人工标注方式比较昂贵，网页自动搜取的方式准确率不高.本文研究如何在noisy label的数据集上高效训练.

一些现有的方法通过人工验证seed images或者估计标签的混淆矩阵(label confusion)的方式. 但是这样的方法不适合用于大规模的数据集。另一方面，有些方法是不用人工监督的(例如label correction和noise correct layer)是可扩展的，但效果差。本文提出了一个基于meta-learning的噪声容忍的训练方法，该方法不用任何附加的监督信息和clean label data。而且我们的算法是不针对与任何特定的模型的，只要是反向梯度训练的模型，都可以适用于本算法。

在noisy label 训练中的突出问题是在训练过程中对noisy label的过拟合会造成模型表现能力的下降。我们通过优化模型参数来解决这个问题，通过优化使得模型不容易过拟合，更具有鲁棒性。

更具体的来说，针对于一个小批次，我们提出了一个meta-objective来训练模型，使模型在经过传统的反向梯度传播之后不会过拟合noisy label。该meta-objective鼓励模型在经过各种合成噪声的训练之后产生一致的预测结果。本文提出算法的主旨思想是，一个噪声容忍模型，不管标签的噪声是怎样的，都应该能够始终如一的从数据中学习到基础的feature。

本文的主要贡献：

1. 提出了一个噪声容忍度很高的模型，meta-objective 在传统的反向更新之前优化。任何用反向梯度更新参数的模型都可以应用到本算法中，我们的目标是优化一个不会过度拟合噪声的模型。

2. 我们把meta-objective定义为：训练模型，使其在学习了各种合成的噪声标签进行梯度更新后，更新后的模型给出的预测结果与教师模型一致。

3. 本文在两个数据集上进行测试，这两个数据集包含来自人工合成和自然掺杂的噪声。另外还做了很多对比实验，探究提出的算法组件的作用。

 

三、 Related Work

 

(一) Learning with label noise

有一种方法使用DNN、概率图模型、知识图谱或条件随机场等方式建立显式或隐式噪声模型来表征噪声