飞桨携手哈佛打造MUSCLE自监督多任务学习方法，X射线图像肺部分割任务Dice提升达1.5%...

医学图像分析是定位、识别和提取医学图像中不同脏器与病灶的过程，对于疾病诊断具有重要意义。典型的医学图像分析场景包括对骨头、肺部和头部的X射线图像进行分类和分割等。

医学图像分析示意图

近年来，基于深度学习的方法[1]在医学图像分析方面取得了巨大成功。通常而言，训练深度神经网络需要大量具有手工标注信息的图像，并使用有监督的训练方式，才能得到良好的图像表征和稳定的分析性能[2]。

为了降低手工标注图像带来的成本，研究人员提出了自监督学习方法。它直接从没有标注的图像中学习视觉特征[3]，提高深度神经网络模型的性能。例如Sowrirajan 等人[4]提出MoCo-CXR，使用MoCo[5]进行胸部X射线图像中的病理分类任务预训练。然而面向不同身体部位（肺和骨骼）、不同任务（检测和分割任务）的其他X射线图像分析任务，自监督学习方法的性能尚不清楚。

针对上述问题，百度研究院联合哈佛大学工程与应用科学学院，基于飞桨框架设计了一种自监督多任务学习方法MUSCLE（Multi-task Self-supervised Continual Learning）[6]来学习不同身体部位的X射线图像的表征，有效提升下游任务的精度。该工作已经发表在MICCAI 2022，并且成功应用于EISeg医疗影像智能标注场景。

• 论文链接

https://link.springer.com/chapter/10.1007/978-3-031-16452-1_15

• EISeg标注模型下载链接

https://github.com/PaddlePaddle/PaddleSeg/blob/release/2.7/EISeg/docs/image.md

接下来，本文将从模型架构、X射线图像数据集、MUSCLE实验结果三个方面对MUSCLE方法进行全面解析。

模型架构

MUSCLE主要包含如下三个模块：

模块一：多数据集动量对比学习：给定从不同身体部位采集的多个X射线图像数据集， MUSCLE首先通过预处理（例如尺度缩放、灰度标准化）聚合这些数据集，然后采用基于MoCo的自监督算法对主干网络进行预训练，学习聚合数据集中X射线图像的表示。

模块二：多任务持续学习：给定MoCo预训练的骨干网络和不同X射线图像分析任务的数据集（例如肺炎分类、骨骼异常分类和肺分割），MUSCLE利用持续学习算法，使用交替的头部网络进一步进行预训练，学习不同任务的表征。

模块三：对下游任务进行微调：给定预训练的主干网络和每个下游X射线图像分析任务，MUSCLE微调并输出一个神经网络。该网络使用预先训练的权重进行初始化，并使用各自任务的特定头部网络来独立适应下游任务。

MUSCLE整体架构

X射线图像数据集

MUSCLE收集了9个真实世界的X射线图像数据集，将近179,000张图像，囊括了人体的多个身体部位，如胸部、骨头、手、肘、手指、前臂、肱骨、肩膀和手腕等。同时这批数据也提供了丰富的医学图像分析任务，包括肺炎分类、骨骼异常分类、肺部分割、结核病检测等。我们使用自监督学习算法从大量的无标记X射线图像中提取图像表征，基于这些表征进行下游任务的学习。

数据集详情

我们选定四个任务进行预训练模型的微调实验：

• 基于Pneumonia数据集的肺炎分类

• 基于MURA数据集的骨骼异常分类

• 基于Chest Xray Masks and Labels数据集的肺部分割

• 基于TBX数据集的结核病检测。

实验中采用了两组主干网络（ResNet-18和ResNet-50），并利用多维度的指标进行模型性能的评估。实验结果如上表所示，我们发现MUSCLE可以提高医学图像分析任务中深度学习模型的性能，助力深度学习技术在智慧医疗场景的落地。

MUSCLE实验结果

下表给出了MUSCLE在两个不同身体部位数据集上分类任务的结果。与常规的ImageNet预训练策略相比，MUSCLE模型在一些重要的指标上（如准确率、AUC值）都有明显的提升。和MoCo自监督学习算法相比，MUSCLE模型也有稳定的提升。

注：“MUSCLE——”代表没有使用Continual Learning正则的简配版本。

下表给出了MUSCLE在两个胸片数据集上分割和BBox检测任务的实验结果。结果显示MUSCLE学习到了与任务相关的表征，能够很好地迁移到各种不同的下游任务。

分割和检测任务实验结果

在下面两幅图中，我们可视化了MUSCLE在肺炎分类和骨骼异常分类任务上的附带95%置信区间的ROC曲线，同时绘制了在肺部分割任务上的部分样例。

MUSCLE在肺炎分类和骨骼异常分类上的ROC曲线

肺部分割任务效果对比

值得说明的是：

• 虽然实验仅对上述四个任务进行了验证，但是我们相信MUSCLE具有很好的模型迁移能力，对于更多的模型和更广泛的任务，MUSCLE同样具有稳定的表现。

• MUSCLE虽然是在X射线图像数据集上进行学习和验证，但是MUSCLE本身并不与数据耦合。对于其他模态的医学数据集，如MRA、CT、DSA等，MUSCLE同样可以进行迁移和学习。

• MUSCLE提供的预训练权重对模型性能有可观的提升，不会给模型带来额外的代价，比如增加模型参数量、增加训练时长等。

参考文献

[1] LeCun, Y., Bengio, Y., Hinton, G.: Deep learning. Nature. 521(7553), 436-444 (2015).

[2] Balki, I., Amirabadi, A., Levman, J., Martel, A. L., Emersic, Z., Meden, B., ... Tyrrell, P. N.: Sample-size determination methodologies for machine learning in medical imaging research: a systematic review. Canadian Association of Radiologists Journal. 70(4), 344-353 (2019).

[3] Jing, L., Tian, Y.: Self-supervised visual feature learning with deep neural networks: A survey. IEEE transactions on pattern analysis and machine intelligence. 43(11), 4037-4058 (2020).

[4] Sowrirajan, H., Yang, J., Ng, A. Y., Rajpurkar, P.: Moco pretraining improves representation and transferability of chest x-ray models. In: Medical Imaging with Deep Learning. pp. 728-744. PMLR (2021).

[5] He, K., Fan, H., Wu, Y., Xie, S., Girshick, R.: Momentum contrast for unsupervised visual representation learning. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. pp. 9729-9738. IEEE (2020).

[6] Liao, W., Xiong, H., Wang, Q., et al.: MUSCLE: Multi-task Self-supervised Continual Learning to Pre-train Deep Models for X-Ray Images of Multiple Body Parts. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 151-161. Springer, Cham, (2022).

*医学图像分析示意图中的医学图像源自本文所述数据集

*其余图片均源自MUSCLE论文

关注【飞桨PaddlePaddle】公众号

获取更多技术内容~

‍

‍