TPAMI 2024 | 动态损失：稳健学习的关键

Dynamic Loss for Robust Learning

动态损失：稳健学习的关键

Shenwang Jiang, Jianan Li, Jizhou Zhang, Ying Wang, Tingfa Xu
代码：https://github.com/jiangwenj02/dynamic_loss

---

摘要

标签噪声和类别不平衡是现实世界数据集中常见的挑战。现有的鲁棒学习方法通常只关注单独解决标签噪声或类别不平衡问题，导致在两种偏差共存时性能次优。为了弥补这一差距，本文介绍了一种基于元学习的动态损失，该损失在训练过程中自适应地调整目标函数，以有效地从长尾噪声数据中学习分类器。具体来说，我们的动态损失由两个组成部分构成：标签校正器和边界生成器。标签校正器负责纠正噪声标签，而边界生成器通过捕获数据的底层分布和分类器的学习状态来生成每个类别的分类边界。此外，我们采用了一种分层抽样策略，以少量无偏元数据丰富多样且具有挑战性的样本。这使得通过元学习联合优化动态损失中的两个组成部分，允许分类器有效地适应干净且平衡的测试数据。我们在包括CIFAR10/100、Animal-10N、ImageNet-LT和Webvision在内的多个真实世界和合成数据集上进行了广泛的实验，这些数