噪声标签的负训练：ICCV2019论文解析

噪声标签的负训练：ICCV2019论文解析

NLNL: Negative Learning for Noisy Labels

论文链接：

http://openaccess.thecvf.com/content_ICCV_2019/papers/Kim_NLNL_Negative_Learning_for_Noisy_Labels_ICCV_2019_paper.pdf

摘要

卷积神经网络（CNN）在用于图像分类时具有优异的性能。经典的CNNs训练方法是以有监督的方式标记图像，如“输入图像属于此标签”（正学习；PL），如果标签被正确分配给所有图像，这是一种快速而准确的方法。然而，如果存在不准确的标签或噪声标签，使用PL进行的培训将提供错误的信息，从而严重降低性能。为了解决这个问题，本文从一种称为负学习（NL）的间接学习方法开始，在这种方法中，cnn使用一个互补标签进行训练，如“输入图像不属于这个互补标签”。因为选择一个真实标签作为互补标签的机会很低，NL降低了提供错误信息的风险。此外，为了提高收敛性，本文扩展了本文的方法，选择性地采用了PL，称为选择性负学习和正学习（selnlp）。PL被有选择地用于训练期望为干净的数据，随着NL的进展，这些数据的选择成为可能，从而产生了滤除噪声数据的优异性能。通过简单的半监督训练技术，本文的方法达到了噪声数据分类的最新精度，证明了selnlp的噪声数据过滤能力的优越性。

1. Introduction

卷积神经网络（CNN）显著提高了图像分类的性能[17、8、29、11、7、38]。为了完成这项有监督的任务，需要由图像及其对应的标签组成的庞大数据集来训练cnn。如果相应的标签是正确的，CNNs是对图像进行分类的强大工具。然而，准确地标记大量的图像是令人望而生畏和耗时的，有时会产生不匹配的标记。当CNN使用噪声数据进行训练时，它可能会超过这样的数据集，导致分类性能差。

因此，利用噪声数据对cnn进行适当的训练具有重要的现实意义。许多方法通过应用一些技术和正则化术语以及正学习（PL）来解决这个问题，正学习是一种典型的有监督学习方法，用于训练“输入图像属于这个标签”的cnn[6、2、34、20、3、39、26、30、22、33、21]。然而，当CNN接受图像和不匹配标签的训练时，错误的信息被提供给CNN。为了克服这个问题，本文建议使用负学习（NL），一种间接的学习方法来训练CNN“输入图像不属于这个互补标签”，NL不会像PL那样频繁地提供错误的信息（图1）。例如，当使用PL用噪声CIFAR10训练CNN时，如果CNN接收到狗的图像和标签“car”，则CNN将被训练以承认该图像是一辆汽车。

在这种情况下，CNN接受了错误信息的训练。然而，有了NL，CNN将随机获得“汽车”以外的补充标签，例如“鸟”。训练CNN承认这张图片不是鸟在某种程度上是向CNN提供正确信息的行为，因为狗显然不是鸟。以这种方式，噪声数据可以通过提供“正确的”信息来帮助训练CNN，而“正确的”信息很有可能不会选择一个真实的标签作为补充标签，而“正确的”信息在PL中提供了零机会。本文的研究证明了NL的有效性，因为它可以防止CNN对噪声数据的过度设置。

此外，利用NL训练方法，本文提出了选择性负学习和正学习（selnlp）相结合的学习方法，以充分利用这两种方法在噪声数据下进行更好的训练。尽管PL不适合于噪声数据，但它仍然是一种快速、准确的干净数据处理方法。因此，在用NL训练CNN之后，PL开始有选择地只使用高分类置信度的训练数据来训练CNN。

通过这个过程，selnlp扩大了干净数据和噪声数据之间的差距，从而产生了从训练数据中过滤噪声数据的优异性能。

随后，通过丢弃过滤后的噪声数据的标签并将其视为未标记数据，本文利用半监督学习对噪声数据进行分类。基于selnlp优越的滤波能力，本文证明了用一种简单的半监督学习方法可以实现噪声数据分类的最新性能。虽然这不是第一次通过过滤噪声数据来解决噪声数据分类问题[2，6，24]，但由于对噪声数据使用了PL，滤波结果并不乐观。

本文的主要贡献如下࿱