Asymmetric Loss for Multi-Label Classification

Asymmetric Loss for Multi-Label Classification，ICCV，2021

多标签分类的不对称损失

---

要点

图像正负失衡主导优化过程，可能导致在训练过程中对正标签的梯度强调不足，从而导致准确性较差；
不对称损失ASL：动态降低负样本的权重和硬阈值，同时丢弃可能标记错误的样本；
ASL 平衡不同样本的概率，并将平衡转化为更好的mAP分数；
ASL不仅可用于多标签图像分类任务，还可以用于单标签分类和对象检测，易于实施且不增加训练时间和复杂度；

多标签现状：
（1）图神经网络表示标签关系；
（2）基于知识先验的词嵌入利用标签相关性；
（3）基于图像部分和注意区域建模；
（4）使用递归神经网络，RNN；
问题：大多数方法的优越性基于广泛的体系结构修改和依赖额外的外部信息，如词嵌入和NLP模型；
本文质疑：多标签任务实现高性能也许并不需要如此复杂的解决方案，通过仔细设计分类函数能够极大提高分类精度并保持基于标准架构的训练计划；
多标签任务的关键特征：当标签总数很大时，会产生固有的正负不平衡，大多数图像只包含一小部分可能的标签，平均而言，每个类别的阳性样本将远远低于阴性样本的数量；
问题：多标签任务中，若将正负样本平等对待，将导致负样本的梯度损失积累更多，降低罕见正样本的重要贡献，即网络可能更专注于从负样本中学习特征，而非正样本；

ASL基于两个关健特性：
（1）为了保持正样本的贡献同时关注硬负样本，解耦正负样本的调制（modulations），并为其分配不同的指数衰减因子；
（2）转移（shift）负样本的概率，以完全丢弃非常容易的硬负样本（硬阈值），概率转移也能够丢弃被怀疑是错误标记的硬负样本；

多标签常用的对称损失函数symmetrical loss functions
（1）交叉熵损失函数cross-entropy
（2）焦损失函数focal loss

本文还引入一种在整个训练过程中动态调整不对称水平的方法，通过要求正负平均概率之间的固定间隙，允许简化超参数的选择过程
We also introduce a method that dynamically adjusts the asymmetry level throughout the training process, by demanding a fixed gap between positive and negative average probabilities, allowing simplification of the hyper-parameter selection process.

本文贡献：
（1）新的损失函数ASL：应对 high negative-positive imbalance, and ground-truth mislabeling；
（2）详细的梯度分析研究损失特性，为简化超参选择，提出自适应的损失不对称控制方法；
（3）基于标准框架，不增加训练和推断时间，也不需要任何外部信息；

---

相关工作

---

图表

损失函数对比：

BCE：负样本梯度积累较多
Focal Loss：一定程度上减小了负样本贡献
ASL：当p低于m时，完全丢弃，相当于将损失函数向右移动m，该移动机制可以拒绝错误标记的负样本

梯度分析：

hard阈值：very easy negatives，with p < m，应该被忽略，从而仅关注于harder样本（如图，p很小时，AF和ASL的Loss Gradient基本等于0）
soft阈值：negatives，with p > m，在概率较低时应当衰减（如图，AF和ASL在p较小时，都低于CE，且越小，低于的程度就越大）
错误标记：very hard negatives，with p > p*，认为是错误标记样本，衰减（如图，CE+PS和ASL都在到达顶点后迅速衰减，AF也有衰减，但是对误标样本的感知落后一些）

此处的问题：ASL的过顶点衰减是否是AF和PS的共同作用，两者贡献程度如何

损失的性质分析：

hard thresholding of very easy samples，非常容易样本的硬阈值化
non-linear attenuation of easy samples：容易样本的非线性衰减
rejection of mislabeled samples ：错误标记样本的拒绝
continuous loss gradients：连续损失梯度

概率分析：

---

代码

https://github.com/nightluo/ASL