多标签分类之非对称损失-Asymmetric Loss

论文：Asymmetric Loss For Multi-Label Classification

GitHub：https://github.com/Alibaba-MIIL/ASL

https://github.com/Alibaba-MIIL/TResNet

 

阿里巴巴

 

论文基于focal loss解决正负样本不平衡问题，提出了focal loss的改进版，一种非对称的loss，即Asymmetric Loss。

主要贡献：

1. 设计了一个新颖的loss，解决了多标签分类任务中，正负样本不平衡问题，标签错误问题。
2. 通过梯度分析，对该loss进行了分析。
3. 提出了自适应的方法来控制非对称的级别，简化了超参数选择过程。
4. 使用ASL loss，在主流的数据集上取得了 state-of-the-art的效果。其中， MS-COCO 达到86.6%map，超过之前最好的结果2.8%。
5. 该方法，高效，容易使用。相比于最近的其他方法，该方法基于主流的网络结构，并且不需要其他的信息。

 

 

非对称loss-ASL:

Binary Cross-Entropy:

focal loss:

Asymmetric Loss:

为了方便，可以设置 γ+ = 0，这样L+就是正常的交叉熵损失。而L-可以通过阈值m减少容易负样本的loss贡献。其中， γ− > γ+。

最终，ASL loss不仅具备focal loss进行正负样本平衡的作用，还具备减少容易负样本loss贡献的效果。

 

网络结构：

网络结构这里采用了TResNet，也是阿里内部发明的网络结构。在相同推理速度，训练速度的条件下，具有比EfficientNet更高的精度。

TResNet系列一共有三种型号：TResNet-M，TResNet-L和TResNet-XL，它们的区别仅在深度和通道数量不同。

 

实验结果：

 

总结：

1. ASL loss，一种基于focal loss改进的非对称loss，不仅具备focal loss进行正负样本平衡的作用，还具备减少容易负样本loss贡献的效果。
2. 本文验证ASL loss的落脚点是多标签分类，但是，ASL loss不仅可以应用于多标签分类，还可以应用于单标签分类任务，物体检测任务。对缓解长尾（long-tail）数据分布具有很好的效果。