Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation

期刊：2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

源码链接：https://github.com/DeepMed-Lab-ECNU/BCPz

---

目录

1. Background

2. Motivation

3. Method​编辑

3.1 主体步骤

3.2 实现细节分析和评估

4. Result Conclusion

5. Discuss

1. Background

医学图像分割对于许多临床应用至关重要，例如肿瘤检测和器官识别。然而，手动标注医学图像不仅耗时且昂贵，这使得在实际应用中难以获得大量的标记数据。为了解决这个问题，半监督学习方法在医学图像分析领域中变得越来越流行，这些方法利用少量的标记数据和大量的未标记数据进行学习。

现有的半监督方法通常会将标记和未标记数据分开分别用于学习。这种做法存在明显的问题。例如，一组高质量的MRI图像中标注了肿瘤的位置，这是标记数据。与此同时，还存在大量低质量的CT图像，这些图像没有任何标注，是未标记数据。因此，由于标记数据和未标记数据的来源和质量不同，它们的分布可能不匹配。如果分别处理这些标记和未标记数据，模型可能会忽略从高质量MRI图像中学到的重要知识，无法有效应用到低质量CT图像上。这种处理方式导致标记数据中的大量知识被丢弃，同时也加剧了标记和未标记数据之间的经验分布不匹配问题。

2. Motivation

CutMix是一种简单但强大的数据增强方法，又称为复制黏贴（CP）。这种方法有助于未标注的数据从标注数据中学习常见的语义，因为同一图像中的像素共享更接近的语义。在半监督学习中，通常会对未标注数据进行弱增强和强增强，并强制它们之间保持一致性，CP常被用作强增强手段。然而，现有的CP方法存在一些不足：

1. 处理较差的未标注数据：现有方法没有很好地处理未标注数据，或者只是简单地将标注数据中的物体复制为前景并粘贴到另一个数据中。

2. 忽略一致的学习策略：这些方法没有为标注数据和未标注数据设计一致的学习策略，这阻碍了它们在减少分布差距方面的效果。

3. 伪标签的局限性：CP方法试图通过增加未标注数据的多样性来增强网络的泛化能力，但由于CutMix图像仅依赖于低精度的伪标签进行监督，因此难以实现高性能。

为了缓解标注数据和未标注数据之间的经验分布不匹配问题，本文提出了一种成功的设计，旨在鼓励未标注数据从标注数据中学习全面的公共语义，同时通过对标注数据和未标注数据采用一致的学习策略来促进分布对齐。也就是提出了一种简单但非常有效的双向复制黏贴（BCP）方法，并在Mean Teacher框架中实现。

3. Method

3.1 主体步骤

1. 首先只使用有标签的数据对模型进行预训练，然后使用预先训练的监督模型作为教师网络来为未标记的图像生成伪标签，进而得到一个分割模型（老师网络），监督模型在自我训练过程中会为未标记的数据生成伪标签。这一策略已经被证明能有效地提高分割性能。

2. 在每一次迭代中，首先用随机梯度下降法对学生网络参数Θs进行优化。

3. 最后，教师网络采用学生网络的指数滑动平均(EMA)进行优化，对教师网络参数Θt进行更新。

在我们的BCP框架中，有一个教师网络，Ft(Xu p, Xu q;Θt)，以及一个学生网络(Xin, Xout;Θs)，其中Θt和Θs是参数。学生网络采用随机梯度下降优化，教师网络采用学生网络的指数移动平均(EMA)优化。[24]我们的训练策略分为三个步骤。我们首先只使用标记的数据对模型进行预训练，然后使用预训练的模型作为Teacher网络为未标记的图像生成伪标签。在每次迭代中，我们首先用随机梯度下降法优化学生网络参数Θs。最后，我们使用学生参数Θs的EMA更新教师网络parametersΘt。 使用2D输入绘制以获得更好的可视化效果。学生网络的输入以双向复制-粘贴的方式混合两个标记和两个未标记的图像。然后，为了向学生网络提供监督信号，我们将教师网络生成的基础事实和伪标签通过相同的双向复制-粘贴方法组合成一个监督信号，使基础事实的强监督帮助伪标签的弱监督。 在Mean Teacher架构中，所提出的双向复制粘贴方法的整体流程如图3所示。我们从训练集中随机选择两个未标记的图像(Xu p, Xu q)和两个标记的图像(Xl i, Xl j)。然后我们复制粘贴随机裁剪从Xl i(前景)到Xl q(背景)生成混合图像Xout，并从Xu p(前景)到Xl j(背景)生成另一个混合图像Xin。未标记的图像能够从向内(Xin)和向外(Xout)两个方向学习标记图像的综合公共语义。然后将图像Xin和Xout输入到Student网络中，以预测分割掩码。通过双向复制粘贴来自Teacher网络的未标记图像的预测和标记图像的标签映射来监督分割掩码。 标签也要双向复制：初始伪标签(p和q为了简单起见被删除)是通过对二元分割任务的Pu取一个共同的阈值0.5来确定的，或者对多类分割任务的Pu取argmax操作来确定的。通过选择最大的连通分量得到最终的伪标签，有效地去除离群体素。然后，我们提出与Eq.1和Eq.2相同的方法，对未标注图像的伪标签和标注图像的真值标签进行双向复制粘贴，得到监控信号:

3.2 实现细节分析和评估

1. 输入：

   1. 绿色：随机取出两个未标注的带有病灶（肿瘤）的图片（左侧）。

   2. 橙色：随机取出来自数据集中已标注的带有病灶的图片（最左侧），和真实的病灶的图片（最右侧）。

2. 混合图像的生成：

   1. 将标注图像中随机裁剪的一部分（前景）复制粘贴到未标注图像上（背景）。

   2. 将未标注图像中随机裁剪的一部分（前景）复制粘贴到标注图像上（背景）。

3. 训练学生网络：

   

4. 首先需要生成零-中心掩码，表示体素来自前景(0)还是背景(1)图像，M∈{0, 1}W×H×L。
5. 再生成的混合图像输入到学生网络中进行训练。

1. 学生网络通过从教师网络生成的未标注图像的伪标签和标注图像的真实标签，进而双向复制粘贴生成的图片进行学习。
2. 损失方法采用的骰子损失和交叉熵损失的线性组合。同时使用α来控制未标记图像像素对损失函数的贡献。最终损失为上图两者相加。

1. 每一次迭代中，用损失函数的随机梯度下降来更新学生网络中的参数ΘS。然后，更新第(k+1)次迭代的教师网络参数Θ(k+1)t。

4. Result Conclusion

1. 首先，图(a)：假设训练集来自一个潜在的分布。图(b)：少量标记数据的经验分布。图(c)：大量未标记数据的经验分布。所有分布都是在ACDC数据集中属于心肌类别的体素的核密度估计。结果显示，BCP方法有效地对齐了标记数据和未标记数据的经验分布，其他方法（如SSNet或跨未标记数据的复制粘贴）无法解决经验分布不匹配的问题。

2. 一般来说，在半监督医学图像分割中，标记和未标记的数据来自相同的分布(图(a))。但在现实世界中，很难从标记的数据中估计精确的分布，因为它们的数量很少。因此，在大量未标记数据和极少量标记数据之间总是存在经验分布不匹配(b)(c)。半监督分割方法总是试图以一致的方式对称地训练标记和未标记的数据。但大多数现有的半监督方法在不同的学习范式下使用标记和未标记的数据。因此，它经常导致丢弃从标记数据中学习的大量知识。

3. LA数据集上不同模型的未标记和已标记训练数据的得分。在BCP方法中，观察到的得分差距要小得多。

4. 现有的CP方法只考虑CP交叉未标记的数据，或者简单地将标记数据中的作物复制为前景并粘贴到另一个数据。他们忽略了为标记数据和未标记数据设计一致的学习策略，这阻碍了其在减少分布差距方面的使用。为了缓解标记数据和未标记数据之间的经验不匹配问题，一个成功的设计是鼓励未标记数据从标记数据中学习全面的通用语义，同时通过标记数据和非标记数据的一致学习策略来进一步实现分布对齐。作者通过提出一种简单但非常有效的双向复制粘贴（BCP）方法来实现这一点，该方法在Mean-Teacher框架中实例化。 在三个流行的数据集中验证了BCP：LA、Pancreas NIH和ACDC数据集。

5. 第一张：损失函数中的权重将它设置α = 0.5作为默认值。现在改变α ={0.5, 1.5, 2.5}来看看性能是如何变化的。表8显示，当α从0.5变化到1.5时，它不敏感，但当α = 2.5时，性能明显下降。 第二张：如表中所示研究了零值区域大小对LA数据集的影响。对于掩模M中的零值区域，设β ={1/3,1/2,2/3,5/6}。随着β的减小，性能变得更差，这意味着小的复制粘贴前景在从背景传递公共语义方面的能力有限。当β = 2/3时性能最佳，当β = 5/6时性能略有下降。 第三张：如表10所示，在没有我们的组件(第一行)的情况下，它退化为一种普通的基于伪标签的自训练方法，即标记和未标记图像的分割分别由ground truth和pseudo-label监督。然后，BCP会带来显著的性能提升(在Dice中从47.62%提升到83.26%)。后处理(nms)和更好的教师网络初始化提高了伪标签的质量，从而进一步提高了性能。

6. 在ACDC数据集上与最新的半监督分割方法的比较，BCP方法得到了显著提升。

5. 作者提出了用于半监督医学图像分割的双向复制粘贴 (BCP)。以双向方式扩展基于复制粘贴的方法，这减少了标记和未标记数据之间的分布差距。在LA、NIH-Pancreas 和 ACDC 数据集上的实验表明了所提出的 BCP 的优越性，在标记数据为 5% 的 ACDC 数据集上，Dice 提高了 21% 以上。重要的是与其他方法相比，BCP 不会引入新的参数或计算成本。

5. Discuss

1. 本文提出了双向复制粘贴（BCP）方法，用于半监督医学图像分割。该方法在复制粘贴基础上进行了双向扩展，有助于减少标记和未标记数据之间的分布差距。在LA、NIH-Pancreas和ACDC数据集上的实验表明，所提出的BCP方法优越性显著，甚至在ACDC数据集上以5%标记数据获得超过21%的Dice系数改进。值得注意的是，与骨干网络相比，BCP不会引入新的参数或计算成本。然而，论文并未专门设计模块来增强局部属性学习。虽然BCP表现优于所有竞争对手，但对于局部对比度极低的目标部位仍然难以很好地分割。

   同时我认为可以在下面方法中继续优化模型：

2. 针对模型对比度细节存在缺陷，可以在训练过程中，通过向有标签和未标签的图像中添加适量的随机噪声，可以促使模型更好地学习处理对比度细节的能力。这样的做法有助于提高模型在训练过程中的鲁棒性，使其能够更好地应对对比度细节复杂的区域，从而提高分割性能。

3.  对于存在分割缺陷的边缘区域，考虑可以采用平移图片窗口区域拼接的方法可以改善模型对边缘信息的捕获能力。通过将相邻区域进行拼接，可以帮助模型更好地理解边缘信息的连续性和一致性，从而提高分割边缘区域的准确性。

4. 同时，目前模型中老师和学生模型仅在最终计算损失时进行信息交互，这可能限制了模型在半监督学习任务中的性能。考虑可以引入在训练中间交互逻辑可以让老师和学生模型在训练过程中相互影响，从而更好地利用未标签数据的信息，提高分割性能。