点击下方“ReadingPapers”卡片,每天获取顶刊论文解读
在医学影像诊断中,一张看似普通的图像里可能隐藏着决定病情的关键信息——或许是眼底图像中微小的微动脉瘤,或许是皮肤图像上不易察觉的病变斑点。这些显著与微小的病变,往往是医生判断疾病的核心依据。然而,当深度学习遇上不平衡医学图像分类时,传统模型常常"抓大放小",要么错过微小病变,要么对罕见疾病的预测信心不足。
今天要介绍的这篇发表于TIP'25的论文《Adaptive Dual-Axis Style-Based Recalibration Network With Class-Wise Statistics Loss for Imbalanced Medical Image Classification》,提出了一套"双管齐下"的解决方案,不仅能让模型同时捕捉显著与微小病变,还能大幅提升对罕见疾病的分类准确性。
论文信息
题目:Adaptive Dual-Axis Style-Based Recalibration Network With Class-Wise Statistics Loss for Imbalanced Medical Image Classification
基于类别统计损失的自适应双轴风格重校准网络用于不平衡医学图像分类
作者:Xiaoqing Zhang, Zunjie Xiao, Jingzhe Ma, Xiao Wu, Jilu Zhao, Shuai Zhang, Runzhi Li, Yi Pan, Jiang Liu
源码:https://github.com/XiaoLing12138/Adaptive-Dual-Axis-Style-based-Recalibration-Network
一、医学图像分类的"老大难":不平衡与病变捕捉难题
在实际临床数据中,疾病分布往往极不平衡:常见疾病的样本可能占比90%,而罕见疾病仅占10%甚至更低。这种"少数服从多数"的数据分布,让深度学习模型很容易"偏爱"多数类,对少数类疾病的识别能力大打折扣。
更棘手的是,病变信息的复杂性:
显著病变(如大面积肿瘤)容易被模型捕捉,但微小病变(如早期微动脉瘤)常常被忽略;
罕见疾病的诊断往往更依赖微小病变,而模型却因样本少难以学习其特征;
传统损失函数(如交叉熵)对所有样本"一视同仁",无法突出少数类的重要性。
如图1所示,病理性近视(PM)和年龄相关性黄斑变性(AMD)的眼底图像中,相似的显著与微小病变让临床医生都难以区分,更别说深度学习模型了。
图1:PM和AMD眼底图像中相似的显著与微小病变,给诊断带来挑战
二、创新突破:双轴视角+类别统计损失的组合拳
论文从两个核心维度突破传统方法的局限:双轴风格重校准模块(捕捉病变信息)和类别统计损失(优化模型学习过程)。
(一)ADSR模块:让模型"既见森林,也见树木"
论文提出的自适应双轴风格重校准(ADSR)模块,通过"全局-像素"双轴视角,将临床风格信息融入特征学习,同时捕捉显著与微小病变。其结构如图2(b)所示,由两个子模块组成:
图2:(a)ADSR网络整体结构;(b)ADSR模块细节;(c)混合损失设计
1. 全局风格自适应(GSA):聚焦显著病变
GSA模块通过不同感受野的组卷积,学习全局临床风格特征(平均值和标准差),突出显著病变:
先将特征图分为两组,分别用1×1和7×7卷积(不同感受野)提取特征;
计算每组特征的全局均值(μ)和标准差(σ),作为"全局风格指纹";
通过注意力机制生成通道权重,增强显著病变对应的特征通道。
图3:(a)GSA模块通过不同感受野捕捉全局风格;(b)PSF模块融合像素级风格
2. 像素风格融合(PSF):捕捉微小病变
PSF模块从像素级挖掘风格信息,专门捕捉微小病变:
跨通道聚合每个像素的均值、最大值和标准差,形成3个像素级风格特征图;
用1×1和3×3卷积(多尺度学习)增强特征,并通过复制3×3卷积结果强化微小病变信号;
生成像素级注意力图,突出微小病变所在的空间位置。
通过GSA与PSF的串联,ADSR模块实现了"全局-像素"的双轴特征增强,让模型既能抓住大面积的显著病变,又能盯住细微的早期病变。
(二)CWS损失:让模型"重视少数派"
传统交叉熵(CE)损失对所有样本平等对待,导致模型在不平衡数据中"偏袒"多数类。论文提出的类别统计损失(CWS),从"类别空间"补充优化:
CE损失:关注单个样本的预测误差(样本空间);
CWS损失:计算每个类别的平均预测概率,强迫模型重视少数类的整体表现(类别空间);
混合损失:将两者结合(L_H = (1-λ)L_CE + λL_CWS),平衡样本与类别层面的学习。
如图4所示,混合损失能同时优化样本预测概率(左)和类别预测分布(右),让模型对少数类的预测更自信、更准确。
图4:混合损失同时优化样本和类别层面的预测概率分布
三、实验验证:5个数据集上的全面碾压
论文在5个不平衡医学图像数据集上(包括皮肤病变、眼底疾病、胸部X光等)进行了验证,结果令人惊艳。
(一)数据集概览
5个数据集覆盖不同疾病类型,不平衡比率从1.8到39.6不等,全面考验模型的泛化能力:
数据集 | 疾病类型 | 样本量 | 不平衡比率 |
---|---|---|---|
ISIC2018 | 皮肤病变 | 10,208 | 39.6 |
Aptos2019 | 糖尿病视网膜病变 | 3,662 | 6.9 |
DDR | 糖尿病视网膜病变 | 11,705 | 1.8 |
Isee-PA | 眼底疾病(PM/AMD) | 2,384 | 3.2 |
NIH-CXR-LT | 胸部疾病 | 88,637 | 12.7 |
表1:实验所用数据集的基本信息(不平衡比率=最多样本类/最少样本类)
(二)关键结果:全面超越SOTA方法
ADSR模块的优越性:
在ISIC2018数据集上,ADSR-Net(以ResNet50为骨干)的F1值比SOTA注意力方法(如SRM、SK)高出25%以上,B-ACC(平衡准确率)提升18.79%。即使在轻量型骨干网络(如MobileNetV2)上,仍保持显著优势。混合损失的提升:
结合CWS损失后,ADSR-Net在ISIC2018上的F1值比焦点损失(FL)提升9.25%,预期校准误差(ECE)降低1.31%,说明模型不仅分类更准,预测信心也更可靠。微小病变捕捉能力:
消融实验显示,PSF模块(负责微小病变)的加入使F1值提升4.2%,尤其对罕见类别的识别效果显著。
(三)可视化印证:模型真的"看到了"病变
通过特征热力图可视化,ADSR-Net能精准聚焦于病变区域:
显著病变区域(如大面积皮肤肿瘤)的特征响应更强;
微小病变(如眼底微动脉瘤)被PSF模块增强,避免被忽略。
这种"精准定位"能力,直接解释了模型性能提升的原因。
四、总结:从实验室到临床的潜力
这篇论文的创新点可概括为:
双轴视角:首次从全局和像素级融合临床风格,解决"抓大放小"问题;
ADSR模块:通过GSA和PSF的组合,实现显著与微小病变的同步捕捉;
CWS损失:从类别空间补充优化,提升少数类识别与置信度校准。
在医学影像AI辅助诊断中,这种能"均衡关注"常见与罕见疾病、"细致捕捉"微小病变的模型,无疑为临床医生提供了更可靠的决策支持。未来,该方法有望扩展到更多医学影像场景(如CT、MRI),推动不平衡医学图像分析的发展。