Combating Medical Label Noise via Robust Semi-supervised Contrastive Learning
摘要
基于深度学习的 AI 诊断模型严重依赖高质量的详尽注释数据进行算法训练,但存在嘈杂的标签信息。
为了增强模型的鲁棒性并防止噪声标签记忆,本文提出了一种称为SSCL的鲁棒半监督对比学习范式,该范式可以有效地融合半监督学习和对比学习来对抗医疗标签噪声。
提出的SSCL框架由三个设计良好的组件组成:
- 混合特征嵌入(MFE)模块
- 半监督学习(SSL)模块
- 相似性对比学习(SCL)模块
通过将混合增强图像作为输入,设计了具有动量更新机制的MFE模块,以挖掘抽象的分布式特征表示。同时,在SSL模块中引入了一种灵活的伪标签推广策略,可以基于初始分类预测,对带有伪标签的噪声数据的监督信息进行细化。得益于分类分布之间的相似性测量,SCL模块可以有效地捕获更可靠的置信对,进一步降低标签噪声对对比学习的影响。此外,还利用噪声鲁棒性损失函数来确保具有正确标签的样本在学习过程中占主导地位。
本文方法
采用MFE进行数据增强,结合Mixup生成不同混合增强图像
选择可靠的样本,属于第n类别的干净的标签
不属于的,就半监督取其概率值:
损失函数:
其他的一些细节省略
实验结果