MICCAI 2024系列论文干货 | 参数高效多模态适配用于医学图像分割

最新推荐文章于 2025-01-19 18:35:05 发布

程序员笑武

最新推荐文章于 2025-01-19 18:35:05 发布

阅读量1.3k

点赞数 23

文章标签：前端网络服务器分类数据挖掘

本文链接：https://blog.csdn.net/m0_59164304/article/details/144249801

版权

概览

论文标题：

PEMMA: Parameter-Efficient Multi-Modal Adaptation for Medical Image Segmentation

论文链接：

https://papers.miccai.org/miccai-2024/paper/3528_paper.pdf

Abstract

在医学图像分割领域，结合不同成像模式如CT和PET扫描对于肿瘤分割至关重要。然而，由于PET扫描的有限可用性，训练和推理过程中同时使用CT和PET扫描面临挑战。本文提出了一种参数高效多模态适配（PEMMA）框架，用于将仅在CT扫描上训练的基于变换器的分割模型升级，以便在PET扫描可用时也能加以利用。该方法的优势在于：首先，利用变换器架构的固有模块化，通过低秩适配（LoRA）注意力权重实现参数高效的适配；其次，PEMMA框架最小化了跨模态纠缠，使得后续使用单一模态更新组合模型时不会导致对另一模态的灾难性遗忘。实验结果表明，该方法仅使用早期融合技术的8%可训练参数，就在PET扫描上的平均Dice分数上实现了28%的显著提升。

本文贡献：

作者提出了PEMMA框架，这是一个参数高效的多模态适配方法，用于医学图像分割。该方法的贡献在于：

利用Transformer架构的模块化特性，通过低秩适配（LoRA）实现参数高效的模型适配。

通过最小化跨模态纠缠，使得模型能够在使用单一模态更新时避免对另一模态知识的灾难性遗忘。

实现了与早期融合技术相当的性能，但仅使用了8%的可训练参数，并在PET扫描上实现了28%的平均Dice分数提升。

Background

医学成像技术如CT和PET在癌症检测中扮演着关键角色，深度神经网络（DNN）模型常将这些扫描结果合并用于肿瘤分割。然而，由于PET扫描的有限可用性，通常只在CT扫描上训练模型，限制了模型在PET扫描可用时的潜力。因此，需要一种灵活的DNN架构，能够在仅使用CT扫描进行训练和更新的同时，有效利用PET扫描。

Method

PEMMA ( Parameter-Efficient Multi-Modal Adaptation ) 框架是一种创新的方法，旨在提高医学图像分割模型在多模态数据上的适应性和性

用变换器（Transformer）架构的模块化特性，通过引入低秩适配（LoRA）机制来调整注意力权重。这种适配方式不仅参数高效，而且能够保持模型在原始模态（如CT扫描）上已经学到的知识。

跨模态纠缠的最小化：在多模态学习中，不同模态之间的特征可能会相互干扰，导致模型在某一模态上的性能提升以牺牲另一模态的性能为代价。PEMMA通过设计特殊的训练策略，最小化这种跨模态纠缠，使得模型能够在更新时保持对两种模态特征的平衡。

灾难性遗忘的避免：在多模态学习中，模型在从一个模态转移到另一个模态时可能会遗忘之前学到的知识，这种现象被称为灾难性遗忘。PEMMA通过精心设计的训练流程和损失函数，有效避免了这种遗忘，确保模型在更新时不会丢失对原始模态的理解。

参数效率：PEMMA框架的一个显著特点是其参数效率。相比于传统的早期融合技术，PEMMA仅需要8%的可训练参数，这大大减少了模型的复杂性和计算成本，同时保持了高性能。

适配策略：PEMMA框架通过在变换器的自注意力层中引入适配模块来实现跨模态适配。这些适配模块能够学习如何将模型从一个模态转移到另一个模态，而不需要对整个模型进行重新训练。

损失函数设计：为了训练PEMMA框架，设计了一种特殊的损失函数，它结合了原始模态和目标模态的损失，以确保模型在两个模态上都能保持良好的性能。

Experiment

实验部分旨在验证PEMMA框架在医学图像分割任务中的有效性和效率。以下是实验的详细内容：

数据集：实验使用了多个公开的医学图像数据集，包括但不限于CT和PET扫描数据。这些数据集提供了丰富的多模态信息，用于评估模型在不同成像条件下的性能。

任务定义：主要任务是肿瘤的自动分割，这是一个在放射学和肿瘤学中非常重要的应用，对于癌症的诊断和治疗规划至关重要。

评估指标：使用Dice分数作为主要的评估指标，这是一种衡量分割精度的常用指标，特别适合于评估医学图像分割任务的性能。

实验设置：实验中，模型首先在CT扫描数据上进行预训练，然后在PET扫描数据上进行适配。通过比较预训练和适配后的模型性能，评估PEMMA框架的适配效果。

性能对比：将PEMMA框架的性能与传统的早期融合技术进行对比。这种对比不仅包括Dice分数，还包括模型的参数数量和计算成本。

结果分析：实验结果显示，PEMMA框架在PET扫描上的平均Dice分数上实现了28%的显著提升，同时仅使用了早期融合技术的8%可训练参数。这一结果证明了PEMMA框架在参数效率和性能上的优越性。

可视化结果：为了进一步分析模型性能，实验还包括了分割结果的可视化。通过比较原始分割图和PEMMA框架生成的分割图，可以直观地看到模型在不同模态上的表现。

鲁棒性测试 ：实验还对PEMMA框架的鲁棒性进行了测试，包括在不同质量的PET扫描数据上的性能，以及在面对不同类型肿瘤时的适应性。

Conclusion

PEMMA框架通过参数高效的多模态适配，实现了在CT和PET扫描上的灵活应用。

该方法不仅减少了模型的参数需求，还避免了在更新模型时对已学习模态知识的灾难性遗忘，提高了模型在PET扫描上的分割性能。

Assignment

PEMMA框架为医学图像分割领域提供了一种新的视角，特别是在处理多模态数据时。

该方法的参数效率和对灾难性遗忘的避免，为未来在多模态学习、模型适配和知识迁移等方面的研究提供了重要的启示。

此外，PEMMA的成功应用也展示了在实际医疗场景中，如何有效利用有限的多模态数据进行模型训练和更新。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述