MICCAI 2020/JUN MA 直方图匹配增强域自适应技术-源码

MICCAI 2020/JUN MA 直方图匹配增强域自适应技术

源码地址：https://github.com/JunMa11/HM_DataAug

主要问题：

• 多中心、多来源、多疾病

多中心（为一个共同目标合作、遵守共同试验程序和规则的多个独立医疗机构或组织）

测试案例来自不同的领域(例如，新的磁共振扫描仪、临床中心)，性能将会降。

解决方法

1. 提出了一种直方图匹配（HM）数据增强方法来消除域间隙。
2. 具体来说，通过使用 HM 将测试用例的强度分布转移到现有的训练用例来生成新的训练用例。
3. 该方法非常简单，可以在许多分割任务中以即插即用的方式使用。

主要目标

1. 目标是通过将目标数据集的强度分布转移到源数据集来提高神经网络的泛化能力。
2. 具体来说，我们使用直方图匹配将目标数据集的亮度外观带到源数据集。
3. 没有修改网络结构或损失函数，只是增加了训练数据集，这非常简单，可以作为任何分段任务的即插即用方法。

Method

1. 直方图匹配法
   直方图匹配法是一种广泛使用的方法，生成具有指定直方图的处理过的图像。

介绍

让 S 和 T 分别表示源图像和目标图像的连续强度(被认为是随机变量)。其中 P_S 和 P_T 表示它们对应的连续概率密度函数。我们可以从源图像中估计 P_S ，而 P_T 是目标概率密度函数（概率密度函数：Probability Density Functions，PDF）。

设 r 是一个具有以下性质的随机变量

其中 L 是强度等级的数量，x 是积分的虚拟变量。假设随机变量 w 具有以下性质：

从这两个方程可以得出，M(S) = G(T)，因此，T 必须满足以下条件

等式 （1）~（3） 示出了可以通过使用以下四个步骤从给定图像获得其强度水平具有特定概率密度函数的图像:

1. 从源图像中获得 P_S ，并带入公式（1）中获得 r 的值；
2. 使用公式（2）中指定的 PDF （概率密度函数）得到变换函数 G(T) ;
3. 求逆变换 T = G^-1 ( r ) ;
4. 首先通过使用公式（1）对图像进行均衡化得到输出图像，该图像中的像素值是 r。对于均衡图像中值为 r 的每个像素，执行逆变换 T = G^-1 ( r ) 来得到输出图像中的对应像素值。当所有像素都被这样处理后，输出图像的 PDF 将等于我们指定的 PDF。

原文使用直方图匹配来扩充训练集，从而引入测试集的强度分布。

具体来说，从已标记病例和未标记病例中随机选择图像对，然后将未标记病例的强度分布转换为已标记病例的强度分布。这样，就可以获得更多新的训练集，其强度分布类似于未标记的案例。下图给出了源图像、目标图像和增强图像的一些例子。

实验与结果

数据集以及训练策略

数据集：由350名肥厚型和扩张型心肌病患者以及健康受试者组成。所有项目在三个不同国家(西班牙、德国和加拿大)的临床中心使用四家不同的磁共振扫描仪供应商(西门子、通用电气、飞利浦和佳能)进行扫描。

• 训练集将包含来自两个不同磁共振成像供应商的 150 幅带注释的图像(每个供应商 75 幅)，以及来自第三个供应商的 25 幅无标记的图像。来自各个机构的经验丰富的临床医生已经对磁共振图像进行了分割，包括左心室和右心室血池以及左心室心肌(MYO)的轮廓。
• 这 200 个测试案例对应于来自训练集中每个供应商的 50 个新研究和来自第四个未知供应商的50个额外研究，它们将被测试模型泛化能力。这些数据集的 20% 将用于验证，其余的将保留给测试和排名参与者。

预处理：

• 首先将所有图像进行重采样到 1.25×1.25×8 mm³ ，并使用 Z-score（平均减法和标准差除法）对进行归一化；
• 使用 nnUnet 网络；
• patch-size = 288×288×14，batch-size = 8；
• 五重交叉验证训练2D U-Net 和 3D U-Net，1000 epochs；
• 对于每个fold，都保存了最佳时期模型和最终时期模型。（最佳时期模型代表可以在验证集上获得最佳dice的模型）。

五重交叉验证结果

下表给出了 2D U-Net 和 3D U-Net 最终迭代模型的五重交叉验证结果。可以发现基本上 3D U-Net 的性能略好于 2D U-Net。

图 3 展示了不同模型的一些分割结果。这些方法选择的是在左心室分割的最佳 Dice 分数，而在心肌的表现上不如左心室和右心室，这表明心肌分割更难。

验证集结果

在验证集上提交了以下五个解决方案。

• 3D U-Net 最佳时期模型；
• 3D U-Net 最终时期模型；
• 3D U-Net best-epoch model+ 2D U-Net best-epoch model;
• 3D U-Net final-epoch model+ 2D U-Net final-epoch model;
• 以及以上四种解决方案的集合。

表 2 展示了验证集上五个解决方案的结果：

可以看出，组装多个模型可能会提高 Dice，但会降低 HD 值和 ASSD 值。与方案 1 相比，方案 2 ~ 4 的性能上没有显著差异。可以发现，集成更多的模型可以获得更好的 Dice 分数，但是会降低 Hausdorff 距离。

与最近使用 GAN 进行域自适应的方法进行了比较，此方法获得了更好的 LV、Myo 和 RV 的 Dice 分数。最后，原文选择方案 1 作为隐藏测试集的最终方案。

测试集结果

表 3 展示了测试集中每个供应商的平均 Dice、HD 和 ASSD。

从表中可以看出，供应商 C 和 D 的性能低于供应商 A 和 B，因为训练集中没有来自供应商 C 和 D 的案例。而且供应商 C 的性能优于供应商 D 的性能，尤其是在 HD 和 ASSD上，改进高达5 mm，这可以证明直方图匹配数据增强的有效性。

效果不佳情况分析

图 4 和图 5 展示了不同供应商的一些低性能的分割结果。


可以观察到，大多数不佳分割结果来自心脏的顶部或底部，因为这些区域通常对比度低，边界模糊。当然，即使在过度分割中，差的分割结果也能具有合理的形状。一些左心室分割结果明显小于或大于真实值，这可能会促使我们通过使用大小限制来改进网络，例如将网络输出的量限制在指定范围内。

局限性

尽管直方图匹配能够较好的消除强度分布差异，但是应当注意，直方图匹配可以覆盖其他磁共振成像模态的特定特征，例如 LGE MRI。随着直方图的变化，疤痕组织的相关信息可能会退化。未来，需要验证直方图匹配数据增强对多序列心脏 MR 数据集(如 MyoPS)的影响。

结论

当将训练好的模型应用于新的数据集时，性能会下降，这是当前分割神经网络的一个具有挑战性的问题。本文中，作者引入直方图匹配来增加与新的(未标记的)数据集具有相似强度分布的训练案例，是非常简单的，并且可以即插即用。

总结

• 直方图匹配数据增强方法消除域间隙。
• 使用直方图匹配来增加与未标记数据集具有相似强度分布的训练集。
• 提高模型性能，也可以从数据增强方向入手——控制变量法；