通过跨模态协作实现稳健的半监督多模态医学图像分割

Robust Semi-supervised Multimodal Medical Image Segmentation via Cross Modality Collaboration

摘要

背景： 多模态学习利用来自不同模态的互补信息，从而提高医学图像分割的性能。然而，流行的多模态学习方法严重依赖来自各种模态的大量注释良好的数据来实现准确的分割性能。由于此类数据的可用性有限，这种依赖性通常会在临床环境中带来挑战。此外，不同成像模式之间固有的解剖错位使提高分割性能的努力进一步复杂化。
目的： 提出了一种新的半监督多模态分割框架，该框架对稀缺的标记数据和未对齐的模态具有鲁棒性。
方法： 采用一种新颖的跨模态协作策略来提炼与模态无关的知识，这些知识与每种模态有着内在的联系，并将这些信息集成到一个统一的融合层中，以实现特征融合。在通道语义一致性损失的情况下，确保从特征的角度跨模态对齐与模态无关的信息，从而加强它对多模态场景中的错位。此外，有效地整合了对比一致学习来调节解剖结构，促进了半监督分割任务中对未标记数据的解剖学预测对齐。
结果： 在三项任务中取得了有竞争力的性能：心脏、腹部多器官和甲状腺相关眼眶病分割。它还在涉及稀缺标记数据和错位模态的场景中表现出出色的稳健性
代码地址

方法