读论文《Enhancing Cross-Modal Medical Image Segmentation through Compositionality》

论文题目：利用组合性增强跨模态医学图像分割

时间 ：21 Aug 2024

论文地址：2408.11733v1 (arxiv.org)

项目地址：GitHub - Trustworthy-AI-UU-NKI/Cross-Modal-Segmentation

论文提出了一种新的跨模态医学图像分割框架，通过引入组合性（compositionality）作为归纳偏置（inductive bias），旨在提高分割性能和可解释性，同时降低计算复杂性。

摘要（Abstract）

跨模态医学图像分割是一个挑战，因为不同的成像方式会产生分辨率、对比度和解剖结构的不同表现。本文介绍了一种新的跨模态分割网络，该网络通过使用可学习的 von Mises-Fisher 核来强化学习到的表示的组合性。这些核有助于内容-风格解耦，得到的组合性内容表示在本质上是可解释的，并且有效地分离了不同的解剖结构。实验结果表明，在多个医学数据集上，与现有方法相比，所提出的方法在分割性能上有所提高，并且降低了计算成本。

方法（Methodology）

论文的目标是开发一个模型，使用来自源域（例如 CT）的图像和相应的标签来分割目标域（例如 MRI）的图像。所提出的框架是一个端到端的跨模态分割框架，它使用可学习的 von Mises-Fisher（vMF）核来强制执行学习到的表示的组合性。

X和Y表示源域和目标域，编码器Ex和Ey从中提取深度特征到Z。从Z中，深度特征可以通过生成器Gx和Gy转换到任意域，或者可以通过vMF核(KvMF)获得组合表示ZvMF。通过ZvMF，分割模型S预测最终的分割掩码。Dx和Dy表示域判别器。

跨模态转换（Cross-modal translation）

• 通过训练网络执行源域到目标域以及反向的跨模态转换。
• 使用特定的编码器和生成器，将一种模态的图像转换为另一种模态的外观，但保留原始域的内容。
• 使用跨循环一致性损失（cross-cycle consistency loss）学习两个模态之间的双向映射。
• 采用对抗学习的方法提高生成图像的质量。

学习组合性表示（Learning compositional representations）

从包含单目标图像y深度特征的表示Zy中学习组合表示ZvMF的视觉概述。

• 使用深度特征和对应的可学习 vMF 核来获得组合性表示。
• 将深度特征视为 von-Mises-Fisher 分布的混合，每个分布具有可学习的均值（核）。
• 通过计算每个特征向量在每个 vMF 分布下的似然性，获得组合性内容表示。

分割（Segmentation）

• 分割模型在组合性内容表示上进行训练，因为这些表示包含空间信息。
• 训练时，只访问源图像的标签。
• 将源图像转换到目标域，并使用组合性特征获得分割掩码。
• 使用 Dice 损失比较预测的分割掩码和源图像的原始分割标签。

实验（Experiments）

• 使用多模态全心分割（MMWHS）挑战数据集和腹部多模态 MRI 数据集进行实验。
• 与多个基线模型进行比较，包括标准 UNet、vMFNet、DRIT++ 等。
• 实验结果表明，所提出的方法在心脏 CT-MRI 心肌、左心室和右心室分割上的性能优于使用解耦表示的跨模态分割基线。
• 还展示了跨模态 MRI 肝脏实质分割的 DSC 提高。
• 

结论（Conclusions）

• 论文提出了一种新颖的端到端跨模态分割框架，利用组合性来解决当前模型中缺乏可解释性和高计算成本的问题。
• 通过强制学习到的表示为组合性，有效地分离了风格特征和内容特征，进一步分离了不同解剖结构的表示。
• 通过定性和定量实验，证明了在心脏 CT-MRI 心肌、左心室和右心室分割上的性能提升，并减少了计算成本。
• 学习到的组合性表示的可解释性为分割过程提供了有价值的见解。