【医学分割】Semi-supervised medical image segmentation network ASE-Net

论文：Semi-supervised medical image segmentation using adversarial consistency learning and dynamic convolution network

代码：https://github.com/SUST-reynole/ASE-Net

---

  半监督医学图像分割是一种解决医学图像分割中标记数据有限的问题的方法。传统的医学图像分割方法通常需要大量的像素级标记数据，但在实践中，标记医学图像通常非常昂贵且困难。半监督学习是一种新的学习范式，它利用少量的标记数据和大量的未标记数据进行联合训练。半监督医学图像分割方法中也存在一些问题:

• 传统的半监督医学图像分割网络通常使用一致性学习来提高模型的训练效果，通过在不同的数据扰动下对模型进行正则化。然而，这些网络往往忽略了有标签数据和无标签数据之间的关系，并且只计算像素级别的一致性，这可能导致对未标记数据的预测结果不确定。换句话说，这些网络在使用未标记数据时容易受到不可靠的监督，无法充分利用有标签和无标签数据之间的先验关系。
• 在对抗学习中，流行的方法是使用单个分割网络和单个鉴别器网络来从未标记的数据中挖掘潜在的知识。不幸的是，这两个网络经常会相互误导，导致训练过程中出现错误累积的问题。
• 在半监督学习中，由于标记样本数量有限，模型更容易过度拟合已有的标记数据，而无法很好地适应未标记数据的特征。这意味着模型在未标记数据上的预测结果可能不准确，从而影响整体的分割性能。

一致性学习

 一致性学习是一种用于半监督医学图像分割的技术，通过在不同的数据扰动下对模型进行正则化来提高性能。
 具体而言，一致性学习通常使用两个模型：学生模型和教师模型。首先，使用有标签数据对学生模型进行监督训练。然后，教师模型利用学生模型对无标签数据进行预测，并生成伪标签。接下来，通过计算学生模型和教师模型在无标签数据上的预测一致性来维持它们之间的一致性。这可以通过不同的正则化方法来实现，例如平均绝对误差（MAE）或均方差（MSE）。最后，学生模型通过监督损失和一致性损失进行更新，以获得更准确的分割结果。
 为了实现不同的数据扰动下的模型正则化，常用的方法是对输入数据进行随机扰动或变换。这些扰动可以包括随机旋转、缩放、平移、弹性变形等。通过在扰动后的数据上进行一致性计算，可以增加模型对不同变换下的鲁棒性，并提高对未标记数据的预测一致性。这样，模型可以更好地利用未标记数据的信息，提高分割性能。

---

论文贡献

1. 提出了一种新颖的半监督医学图像分割网络，称为Adversarial Self-Ensembling Network using Dynamic Convolution（ASE-Net）。该网络结合了一致性学习和对抗学习的方法，通过动态卷积网络实现了更好的分割性能。

2. 引入了对抗一致性训练策略（ACTS），利用两个基于一致性学习的判别器来获取有标签数据和无标签数据之间的先验关系。ACTS可以同时计算像素级和图像级的一致性，提高对未标签数据的预测质量。

3. 提出了动态卷积网络（Dynamic Convolution Network，DAN），通过引入动态路由机制，使网络能够自适应地调整卷积核的形状和大小，从而更好地适应不同的图像特征。

4. 在实验中，使用多个医学图像分割数据集进行了验证，并与其他常用的半监督医学图像分割方法进行了比较。实验结果表明，ASE-Net在不同数据集上都取得了优于其他方法的分割性能，证明了其有效性和优越性。

---

整体流程图

ASE-Net（Adversarial Self-Ensembling Network）是一种用于半监督医学图像分割的网络。它由分割网络和鉴别器网络两部分组成。

分割网络： 分割网络包括一个学生模型和一个教师模型，它们都基于编码器-解码器结构。学生模型通过损失函数进行训练，而教师模型是学生模型权重的指数移动平均值。这种设计使得教师模型能够提供更稳定的预测结果，从而提高分割网络的性能。
在分割网络中，除了第一层之外的所有卷积层都被动态卷积式双向注意力组件（DyBAC）所取代。DyBAC通过自适应地调整卷积核的参数，提高网络的特征表示能力，并减少过拟合的风险。

鉴别器网络： 鉴别器网络由卷积层、DyBAC和全局平均池化层组成。它的作用是评估分割网络的预测质量。鉴别器网络的输入是分割结果和原始图像的连接，而不仅仅是分割结果。这样可以通过使用原始图像作为基准来进一步评估分割结果的质量。
鉴别器网络的目标是学习分割网络对未标记数据和标记数据的预测一致性。为了实现这一目标，ASE-Net使用了两个相同结构的鉴别器。第一个鉴别器学习分割网络对未标记数据和标记数据的预测质量一致性，第二个鉴别器学习教师模型和学生模型在相同输入下的预测一致性。

分割网络和鉴别器网络是交替训练的，而在推断阶段，鉴别器网络是不必要的，避免了额外的计算成本。

基于动态卷积的双向注意力组件 DyBAC

  基于动态卷积的双向注意力组件（DyBAC）是论文中提出的一种用于增强网络特征表示能力的模块。DyBAC主要通过自适应地调整卷积核的参数值来实现。
  具体来说，DyBAC由两个部分组成：空间注意力和动态卷积。
  空间注意力的引入是为了解决医学图像对比度低和边缘模糊的问题。空间注意力部分使用sigmoid激活函数对权重向量进行归一化，得到空间注意力权重。这些权重表示了输入特征图中每个像素位置的重要性。最后，将得到的空间注意力权重与输入特征图逐像素相乘，得到增强后的特征图。
  动态卷积部分主要通过根据不同输入样本的通道和空间信息来生成动态卷积核。与SE-Net 中的注意力机制不同，我们将权重分配给卷积核而不是特征图。首先，通过全局平均池化层，特征图x1 转换为x2，然后用1× 1卷积减小维度，在 softmax 激活功能之后，得到特征图p，其中N 是卷积核的数量，它被预先定义为超参数。N 可根据具体任务进行设置。在本文中N=4 ，将获得的系数p分别与N个卷积核相乘，并将N个卷积核的权重进行求和，以生成一个动态卷积核。
  通过引入DyBAC，网络可以根据输入样本的特点动态地调整卷积核的参数值，从而更好地捕捉特征之间的关系。这样可以提高网络的特征表示能力，并减少过拟合的风险。实验结果表明，使用DyBAC的网络在医学图像分割任务中取得了更好的性能。

---

实验结果

作者在三个具有挑战性的医学图像分割任务上评估了提出的ASE-Net方法的性能。这些任务包括肝脏分割、皮肤病变分割和左心房分割。

在肝脏分割任务上，作者使用了肝肿瘤分割挑战（LiTS）数据集，将图像大小调整为 256×256，随机选择 121 个案例作为训练集，其余 10 个案例作为测试集。并对训练集执行随机数据增强，例如翻转、镜像和旋转。随机选择训练集中 10%（12 个案例）和 20%（24 个案例）的案例作为标记数据，其余的用作未标记数据。实验结果表明，相比于监督学习方法和其他半监督学习方法，ASE-Net在Dice指标、Jaccard指标、灵敏度、准确度和特异度等方面都取得了更好的性能。此外，可视化结果也显示了ASE-Net在肝脏分割中的优越性。

在皮肤病变分割任务上，作者使用了2018年ISIC皮肤病变分割挑战赛的数据，在训练集中随机选择 10%（259 张图像）和 20%（519 张图像）分别用作标记数据，其余用作未标记数据。实验结果表明，ASE-Net在Dice指标、Jaccard指标、灵敏度和准确度等方面都取得了最好的性能，与其他方法相比具有更好的分割效果。

在左心房分割任务上，作者使用了2018年左心房分割挑战赛数据集，由100张3D增强MR图像组成，分辨率0.625×0.625×0.625 毫米，作者使用 80 张扫描进行训练，使用 20 张扫描进行验证。采用通用的数据预处理方案，将左心房数据随机裁剪成112×112×80，10%（8 次扫描）和 20%（16 次扫描）仍用作标记数据，其余用作未标记数据。实验结果表明，ASE-Net在10%标记数据和20%标记数据的条件下，分别取得了最好的Dice指标，与其他方法相比具有更好的分割效果。

综上所述，实验结果表明，提出的ASE-Net方法在不同的医学图像分割任务上都取得了优秀的性能，相比于其他方法具有更好的分割效果。

---

总结

  这篇文章介绍了一种基于自我集成和动态卷积的半监督医学图像分割方法。该方法通过自我集成模型和动态卷积操作相结合，实现了在有限标记数据的情况下提高医学图像分割性能的目标。
  提出了对抗一致性训练策略（ACTS），有效地结合了对抗性学习和一致性学习，使用对抗性训练来最大限度地提高一致性学习。这使得网络能够快速学习未标记数据和标记数据之间的先验关系，并进一步挖掘未标记数据中存在的潜在知识。
  提出了动态卷积操作（DyBAC），根据输入样本自适应地调整卷积核的参数值，这不仅有效地避免了网络过拟合，提高了网络的特征表示能力，而且减少了内存开销。