[论文阅读笔记]Enhancing Modality-Agnostic Representations via Meta-learning for Brain Tumor Segmentation

[论文阅读笔记] Enhancing Modality-Agnostic Representations via Meta-learning for Brain Tumor Segmentation

published：Accepted in ICCV 2023
论文：https://arxiv.org/abs/2302.04308
code：

一、Abstract

  在医学视觉中，不同的成像方式提供了互补的信息。然而，在实践中，并不是所有的模态都可以在推理甚至训练期间使用。以前的方法，例如知识蒸馏或图像合成，通常假定所有任务在训练期间都有完整的模态；由于不同地点的数据收集的变化，这是不现实和不切实际的。我们提出了一种新的方法来学习增强的模态-不可知的表示，在训练中使用元学习策略，即使只有有限的全模态样本可用。元学习通过对部分模态数据进行元训练和对有限的全模态样本进行元测试，将部分模态表示增强到全模态表示。此外，我们通过==引入一个辅助的对抗性学习分支来共同监督这个特征。更具体地说，一个缺失的模态检测器被用作一个鉴别器来模拟全模态设置。==我们的分割框架显著优于最先进的脑肿瘤分割技术在缺失的模式场景

• 目的：学习增强的模态-不可知表示
• 使用 元学习 将部分模态表示增强到全模态表示
• 引入对抗性学习分支，模拟全模态设置

二、Introduction

  现实中需要多种医学成像模态/方案来为临床医生提供互补的诊断线索。例如，多个模态，即T1、post-contrast T1（T1c）、 T2-weighted（T2）和Fluid Attenuated Inversion Recovery（FLAIR）一起被用于了解脑肿瘤及其周围的潜在空间复杂性。深度学习方法在多模态脑肿瘤分割和治疗反应评估方面取得了巨大的成功。这些传统的脑瘤分割方法只有在所有的四种采集模态可作为输入（即在全模式设置中）时才能起作用。然而，在临床实践中，由于图像退化、运动伪影、错误的采集设置和短暂的扫描时间等问题，通常只有一部分模式可用。因此，开发鲁棒的模态-不可知的方法是至关重要的，这些方法可以在缺失的模态设置中达到最先进的性能，即，在推理甚至训练过程中不同的模态不可用时。

图1：现有的缺失模式方法（左）与我们的方法（右）通常采用的脑肿瘤分割的范式的比较。N和n分别表示部分模式和完全模式的受试者（患者）的数量。以往的方法要么对所有受试者使用全模态数据$D^f$，要么模拟从$D^f$中获得的部分模态数据$D^m$。相反，我们的方法可以在有限的完整模态设置中工作，即|$D^f$ | ≤ |$D^m$|。

  最近，有很多工作用以解决缺失的模式场景的脑肿瘤分割。包括两个主要类别： 1)知识蒸馏：这些方法从训练全模态数据的教师网络中学习特权信息，即所有可用的数据。2)图像合成：一些工作是由训练生成模型来合成缺失模式的图像，合成的“全模态”图像用于分割。但是，一个主要问题是，这两类方法都需要训练集中所有受试者的完整模态数据（见图1a），无论是教师模型还是生成器。但这是非常不现实的。在现实世界的应用中，大多数研究只有非常有限的完整的模态数据，远远不足以进行训练。在本文中，我们关注一个更现实的设置：大多数训练数据只是部分模态数据，即有一些模态缺失。我们问以下问题：我们如何有效地从大量的部分模态数据和少量的完整模态数据中学习（见图1b）？
主要贡献：

1. 我们提出了一个元学习范式来训练混合数据（部分和完全模态），并增强了学习的部分模态表示来模拟全模态表示。这是通过对部分模态数据进行元训练来完成的，同时在元测试中对有限的全模态数据进行微调。这种训练策略克服了对全模态数据的过度依赖，并成功地学习了对所有缺失情况的无偏表示。
2. 我们引入了一种新的对抗性学习策略来进一步丰富潜在空间中的共享表示。我们的方法不需要重建缺失的模态图像。

图2：框架概述。$D^m$（部分模态）和$D^f$（全模态）分别作为元训练阶段和元测试阶段的编码器-解码器网络的输入。部分模态表示通过以下方式适应于全模态域： 1)两种数据中梯度的元优化，2)基于模态缺失分类器预测的对抗性学习。

三、Conclusion

  我们提出了一种新的训练策略来解决在有限的全模态监督下脑肿瘤分割中缺失的问题。我们采用元学习，并将模态组合作为单独的元任务，以减轻在训练中很少遇到的模态的偏见。在元测试阶段，我们从全模态数据中提取出鉴别特征，从而丢弃了对所有样本无处不在的全模态。这种映射进一步由潜在空间中的新的对抗性学习共同监督，这保证了产生优越的模态不可知的表示。在未来，我们将在其他下游任务上验证我们的方法，如放射基因组学分类和治疗反应预测。

四、Methodology

  给定异构模态作为输入，我们的目标是构建一个模态不可知的框架，该框架可以对缺失的模态场景健壮，并实现与完整模态设置相媲美的性能。我们有在训练期间获取的一些完整模态数据；这模拟了一个实际的临床场景，其中脑肿瘤分割的执行可能只伴随部分模态。为了解决这种数据稀缺的情况，我们的目标是建立一个部分和完全模态表示之间的映射。我们提出的方法如图3所示。元学习已被证明是一种处理异构训练数据的有效计算范式，或在不同域之间进行特征适应。为此，我们采用了模型不可知的元学习来利用来自部分和完整模态数据的信息。该策略在第二节中已有详细阐述。

• 3.1.我们还想进一步丰富从可用的模态中获得的编码表示，并将补充信息包含在全模态表示中。更具体地说，我们提出了一种新的对抗性学习技术，引入了一种鉴别器作为模态缺失分类器。详细描述。
• 3.2.因为我们需要为每个异模态输入组合生成一个公共的融合表示，所以我们的架构包含了一个简单而优雅的特征聚合模块(参见第二秒。3.3).
  

图3：所提出架构的说明。部分的或完整的模式分别在元训练阶段和元测试阶段通过共享生成器传递。聚合模块有助于从五个不同的级别获得融合的表示（这里显示了级别$l$和瓶颈）。接下来，鉴别器只使用瓶颈嵌入来预测输入中存在哪些模式。所有五种融合的嵌入都被分割解码器使用。内循环和外循环梯度更新是指在元训练和元测试阶段分别对部分模态和全模态数据计算的损失。

Meta-Learning for Feature Adaptation

  假设我们总共有M个 MRI模式作为一个患者的输入。为了模拟真实的临床场景，其中可能只有于一小部分受试者有完整的模态数据，在训练期间每个患者丢弃了一些模式。这种训练范式确保了模型在推理时对缺失的场景变得更加健壮。因此，我们构造了一个异构的任务分布$P(T)$，它是一个包含k个任务分布的集合： $P（T^1）$、$P（T^2）$、…，$P（T^k）$。每个这样的分布$P（T^i）$具有与特定的模式子集相关的不同的输入特征空间。然而，由于在元测试中使用了全模态子集，我们将它从任务分布中排除在外，如下文所述。总的来说，k个类型的任务实例可以从$P（T）$中采样，其中$k=2^M-2$。

  形式上，我们有一个异模态训练数据集D，我们将其分为两组受试者{$D^m$，$D^f$ }，分别包含部分和完全模态。其目标是有效地从这两种类型的数据中学习。我们构建了一批与每个$P（T^i）$对应的受试者$D_i^m$。这对实验对象及其对应的任务在所有时期都是固定的。只有不包含在任务中的模式才会被删除。

内循环：

外循环：

• 内循环的目标是通过对$D_i^m$的任务训练，通过减少内环目标$L_i^{miss}$缺失，获得最优生成参数${\theta }_g$；
• 外循环通过强制部分模态训练模型在全模态数据上表现良好，我们隐式地针对相关信息的恢复，以便在缺失模态场景下更好地分割。

Adversarial Feature Enrichment

  鉴别器$D$的目的是根据瓶颈水平上融合的嵌入$F^B$预测四种模式是否缺失。$D$利用二元交叉熵损失
  生成器损失$L_E$是分割损失和对抗性损失的组合，用于训练生成器来欺骗鉴别器。

Modality-Agnostic Feature Aggregation

图4：特征聚合模块的说明。模态$F_2^l$缺失，$F_1^l$和$F_3^l$通过全局平均池（GAP）操作，最终输入MLP，生成融合的共享表示$F_{fused}^l$。

个体编码表示经历全局平均池操作，随后连接形成一个M维向量γ。这是通过在（M−n）缺失模式的信道信息中输入零来实现的。γ通过多层感知器（MLP）和 sigmoid激活函数σ映射到M个模态特征的通道权值。这些特定模态的权值乘以相应的特征，得到聚合表示，$F_{fused}^l$融合（在图4中），最终被用作分割解码器的输入。我们的聚合模块利用可用的模态表示之间的相关性来创建一个统一的特征，最好地描述一个受试者的肿瘤特征。