原文:Zhou, Lei, et al. "Self pre-training with masked autoencoders for medical image analysis." arXiv preprint arXiv:2203.05573 (2022).
掩码自编码器(MAE)在预训练用于自然图像分析的Vision Transformer(ViT)方面是有效的。编码器(ViT)通过部分可见数据重建原始图像,根据上下文信息推断掩码图像的内容。我们认为这种上下文聚合能力对于医学图像领域也是必不可少的。在本文中,我们研究了一种基于MAE的医学图像self pre-training范式,即在相同的目标数据集上对模型进行预训练。为了验证MAE self pre-training的有效性,我们考虑了三种不同的医学图像任务,包括胸部X射线疾病分类、CT腹部多器官分割和MRI脑肿瘤分割。结果表明,MAE self pre-training对所有的任务都有助益。其中,肺病分类的mAUC提高了9.4%,脑肿瘤分割的平均DSC从77.4%提高到了78.9%,小规模多器官分割的平均DSC从78.8%提高到了83.5%,而HD95降低了60%,表明该方法在有限的数据场景下依然有效。上述结果表明MAE self pre-training在医学图像分析领域具有良好的的应用前景。
图1:使用MAE self pre-training进行分割任务的流程。
图2:MAE重建图像的结果。第一行是原始图像,第二行是掩码图像,第三行是MAE重建的图像。从左到右的图像分别来源于CXR、BTCV和BRATS数据集。
表1:在ChestX-ray数据集上的肺病分类结果。
图3:在BTCV数据集上的腹部多器官分割的定性结果。结果表明,当使用MAE对UNETR进行预训练时,模型性能提高了。
图4:在MSD数据集上的脑肿瘤分割的定性结果。当使用MAE对UNETR进行预训练时,分割结果有所改善。
表2:在BTCV数据集上的腹部多器官分割结果。
表3:在MSD数据集上的脑肿瘤分割结果。
表4:掩码率和预训练轮数的消融研究。左:MSD脑肿瘤分割数据集。右:BTCV多器官分割数据集。
在本文中,我们证明了MAE预训练可以改善医学图像分类和分割任务的结果。MAE self pre-training在小数据集上优于现有的方法,包括ImageNet迁移学习方法。此外,我们还证明了MAE在CT和MRI医学图像上的有效性,这是以前从未探索过的。总之,MAE可以进一步改善ViT在医学图像分析任务中的性能。
多模态人工智能
为人类文明进步而努力奋斗^_^↑
欢迎关注“多模态人工智能”公众号^_^↑