一种用于医学图像分割的多源模型适应方法

Transferability-Guided Multi-source Model Adaptation for Medical Image Segmentation

摘要

传统方法假定源数据来自单个客户端，不能很好地利用多源域的互补知识，且需要在训练过程中访问源数据，这在隐私保护和内存存储方面效率低下。为解决这些挑战，研究了一种新颖的实际问题，即多源模型适应（MSMA），旨在将多个源模型转移到未标记的目标域而无需任何源数据。为了消除负迁移，提出了一种转移性引导模型适应（TGMA）框架，其中设计了一个无标签的转移性度量（LFTM）来评估源模型的转移性。基于设计的度量，计算了实例级转移性矩阵（ITM）和域级转移性矩阵（DTM），用于改善目标模型初始化。在多站点前列腺分割数据集上的实验结果证明了该框架的优越性。

本文方法

(a) 无标签可转移性指标（LFTM）估计器：用于评估源模型的转移性，即源域模型在目标域中的适应能力，从而帮助选择最适合目标域的源模型。

(b) 可转移性引导的模型选择：根据计算的转移性指标，选择对目标域适应性最好的源模型，以初始化目标模型。

© 可转移性引导的标签校正：利用选定的源模型和转移性指标，对目标域的伪标签进行校正，以改善目标模型的性能。

Label-Free Transferability Metric

在多源模型适应中，大多数方法都没有区分不同源域的重要性，导致可能出现负迁移，即来自不相关源域的知识影响了目标域的学习。为了避免这种情况，需要对每个源域的知识与目标域的关联程度进行评估，并重点关注在目标域中最相关的源域。然而，在没有源数据和目标真值的情况下，评估域相关性是具有挑战性的。为了解决这一问题，他们开发了一种无标签的转移性度量（LFTM），基于两个假设：1）样本相关性：相似的样本应该有相似的预测结果；2）模型稳定性：如果一个源模型在一个样本上做出了准确的预测，那么对于不相关区域的微小改变不应该影响它的决策。他们利用这些假设构建了一种通过关注掩模进行样本扩增的方法，并以此计算一致性，作为评估源模型可转移性的指标。
首先，他们将目标样本（xt）输入到源模型（Fsk）中，仅通过两次前向传播即可计算转移性度量。在第一次前向传播中，原始目标样本xt通过源模型Fsk生成分割图Psk=Fsk(xt)。基于这样的假设：对疾病图像进行正常区域的掩蔽不会影响病变区域，他们保留了原始图像的分割区域，并随机对其他区域进行掩蔽，生成了掩蔽图像xmt。由于分割结果可能受到感受野的影响，他们通过膨胀操作将分割图Psk扩大为D(Psk)。然后，通过将扩大后的病变区域与掩蔽的正常区域进行组合，生成了掩蔽图像xmt

在第二次前向传播中，将掩蔽后的目标样本xmkt 输入到源模型Fsk 中，生成分割图Psk = Fsk(xmkt)。然后，计算这两个预测之间的Dice分数作为转移性度量：Dice分数是用来评估两个集合的重叠程度的指标，通常用于评估图像分割的准确性。在这种情况下，它用于衡量源模型在掩蔽目标样本上的预测与在原始目标样本上的预测之间的相似程度，从而评估源模型在目标领域中的适应性。

LFTM越大，表示源模型在目标样本上的稳定性越高。对于M个源模型和Nt个目标样本，我们可以计算实例级转移性矩阵（ITM）Tinstance ∈ RM×Nt，该矩阵可以用于校正目标伪标签。将Tinstance在域空间上进行平均可以生成域级转移性矩阵（DTM）Tdomain ∈ RM×1，该矩阵表示每个源模型对目标域的贡献程度。

Transferability-Guided Model Adaptation

目标训练的基本流程需要准确的伪标签和合适的模型初始化。然而，在存在多个伪标签和源模型的情况下，简单地将它们平均作为目标监督和模型初始化是一个简单的解决方案，但它忽略了这些源域的贡献差异。为了解决这个问题，我们提出了一个基于LFTM的可转移性引导模型适应（TGMA）框架，它由两个模块组成：标签校正和模型选择。基于实例级转移性矩阵Tinstance，我们重新加权多个源模型生成的伪标签，以实现伪标签校正。通过域级转移性矩阵Tdomain，我们选择最适合的源模型作为主要的模型初始化，并通过加权优化策略充分利用其他源模型。

Transferability-Guided Label Correction

在多源模型适应中，由于缺乏目标领域的真实标签，我们需要生成伪标签作为监督信号。然而，针对单个目标样本，多个源模型可能会产生多个伪标签。在过去的方法中，通常会简单地对这些标签进行等权重平均以获得最终的伪标签。然而，如果某些源模型不适应目标领域，其生成的伪标签可能不准确，从而导致训练数据中存在嘈杂或不可靠的情况。为了消除负迁移并改善伪标签的纠正，我们可以利用计算得到的实例级转移性矩阵Tinstance重新加权所有源模型的预测。这样，我们可以更精确地校正伪标签，使得适应目标领域的源模型的预测权重更高，从而提高了训练数据的质量。

Transferability-Guided Model Selection

以前的多源模型适应方法通常将所有模型平等对待，并优化所有源模型的参数以实现对目标域的适应。一方面，它们忽视了一些与目标域关联性较低的域引起的负迁移问题。另一方面，优化所有源参数是耗时且低效的。为了更好地充分利用源模型，我们利用计算得到的域级转移性矩阵Tdomain对所有源模型进行排名。通过Tdomain表示源模型的可转移性，我们选择最佳的源模型作为主网络Fmain，选择第二优的模型作为辅助网络Faux。仅从Fmain初始化目标模型可能会忽略其他源模型的补充知识，而优化所有源模型又效率低下。为了获得一个折衷的解决方案，我们将第二模型作为辅助参数知识。然后，利用加权优化策略对最佳模型和辅助模型进行优化，权重分别为Wmain和Waux。

实验结果