20210401：Prevasive Label Errors in Test Sets Destablize Machine Learning Benchmarks

论文地址：https://arxiv.org/pdf/2103.14749.pdf

项目地址：https://github.com/cgnorthcutt/cleanlab

 

论文没有细读，只关注论文作者的有趣发现：

ResNet-18 这类比较简单的模型错误率要低于 ResNet-50 这种更为复杂的模型，这取决于不相关数据（噪声）的普遍性。因此，作者建议，如果你的数据集标签错误率高达 10%，你可以考虑使用较为简单的模型。 

 

研究者发现，在移除或修正这些错误之后，基准中的模型相对排名并没有受到影响。但他们也发现，这些基准结果是不稳定的：与参数较少的模型（如 ResNet-18）相比，容量较大的模型（如 NasNet）在预测结果中更加能够反映这些系统性标签错误的分布，而且这种效应随着测试标签错误普遍性的增加而变得更加明显。

 

这不是传统的过拟合。更大的模型能够更好地泛化至测试数据中给定的噪声标签，但这是有问题的，因为在标签修正之后的测试数据上进行评估时，这些模型给出的预测结果比不上那些容量较小的模型。

 

在存在大量标注错误的现实世界数据集中，小容量模型可能比大容量模型更有用。举个例子，从基于原始给定标签的测试准确率来看，NasNet 似乎要优于 ResNet-18，但如果用标签修正之后的测试集进行测试，NasNet 的准确率其实比不上 ResNet-18。由于后者在现实中更为重要，在这种情况下，我们在现实中部署的也应该是 ResNet-18，而不是 NasNet。

 

为了评估流行预训练模型的基准如何变化，研究者随机并递增地删除正确标记样本，每次删除一个，直到只剩下一组原始的被错误标记的测试数据（标签得到纠正）。借助这种方法，他们只删除了 6% 的正确标记测试样本就让 ResNet-18 的表现超越了 ResNet-50。

 

该研究表明，如果着手纠正测试集中的标签错误或在数据集噪声较多时使用较小 / 较简单的模型，ML 从业者可能会从中受益。当然，你首先要确定你的数据集噪声是不是真的有那么大，判断方法可以在论文中找到。