ECL: Class-Enhancement Contrastive Learning for Long-Tailed Skin Lesion Classification论文速读

ECL: Class-Enhancement Contrastive Learning for Long-Tailed Skin Lesion Classification

摘要

皮肤图像数据集往往存在数据分布不平衡的问题，加剧了计算机辅助皮肤病诊断的难度。最近的一些工作利用监督对比学习（SCL）来应对这种挑战。尽管取得了显著的性能，但这些基于 SCL 的方法更多地关注头部类，而忽略了尾部类中信息的利用。

本文提出了class Enhancement Contrastive Learning（ECL），它丰富了少数群体的信息，平等对待不同的群体。为了增强信息，我们设计了一个混合代理模型来生成类依赖代理，并提出了一种参数优化的周期更新策略。平衡-混合-代理丢失旨在利用样本和代理之间的关系，并平等对待不同类别。考虑到“不平衡数据”和“不平衡诊断难度”，我们进一步提出了平衡加权交叉熵损失。
代码地址

本文方法

SCL （a） 和 ECL （b） 之间的比较。在 SCL 中，头类被过度处理，导致优化集中在头类上。相比之下，ECL利用代理来增强尾部类的学习，并根据平衡对比理论平等对待所有类。此外，有助于增强样本和代理中的关系，以获得更好的表示

提出的ECL的总体框架。
ECL 有两个分支（采用不同的数据增强）
BackBone共享权重

混合模型：c 类的样本数表示为 Nc，所有类的最大值表示为 Nmax，代理数 Npc 可以通过计算每个类的不平衡因子

分别是分类器学习（由平衡加权交叉熵损失 LBWCE 指导）和对比学习（由平衡混合代理损失 LBHP 指导）。混合代理模型中的代理是通过储备不平衡方式生成的（见第 2.1 节），以加强小批量中少数群体的信息。
在训练过程中引入了梯度累积方法，以异步更新代理：

来看一下他的伪代码

损失函数：

实验结果