文章阅读：Generating 3D TOF-MRA volumes and segmentation labels using generative adversarial networks

在本文中，研究者使用3D GAN网络用于生成3D医学图像和对应的标签。在实现过程中采用condition GAN的技术，使用了WGAN-GP，谱归一化（Spectral Normalization）等技术，这些都是WGAN的不同变体或改进技。除此之外，还采用了混合精度训练，从而使得网络可以选择更大的结构。

在

模型架构

网络结构

作者使用了不同的结构，包括：

1. WGAN-GP模型（GP模型）
2. 在GP模型的基础上加上谱归一化（SN模型）
3. 在SN模型的基础上使用了混合精度训练（SN-MP模型）
4. 在SN-MP模型的基础上，为每一层使用双倍的filters（c-SN-MP模型）

模型的一些参数如下：

网络架构如下：

混合精度训练

为了提升存储效率，混合精度训练被引入。具体而言，模型使用FP32精度进行梯度更新操作，在存储梯度的时候则采用FP16。这部分使用Pytorch的AMP包自动完成。

数据集

数据集选择

作者选择了PEGASUS数据集（72个样本）和1000Plus数据集（65个样本）。对于这些数据都进行了半手工的标注，前者采用阈值区域生长算法，后者使用2D U-Net模型结构。并通过初级-高级标注者手工进行校正。

PEGASUS数据集中的47个用于训练，12用于验证，13个用于测试，1000Plus数据集全部用于验证。

Patch提取

受计算资源限制，所有数据都是从样本中提取12812864的patches来构造的。具体而言，每一个样本都提取了50个patch，其中18个是系统性地覆盖全体，32个则是选择血管为中心以覆盖更多血管。最终有47*50=2350个patch-label对用于训练。

对于验证集，则是每一个样本提取250个以血管为中心的patch。

数据处理&输入

所有的输入数据都被归一化到-1和+1的范围内，标签和原始数据被作为图像的两个通道同时输入（conditional GAN的常规做法）。

生成标签二值化处理

对于生成的标签需要进行二值化处理从而用于训练，对于所有生成模型作者选择了0.3的阈值，而对于SN模型选择了0.2。超参数的选择基于验证集结果。

评估方式

定性评估

使用ITK-SNAP展示图像、标签和血管结构。

定量评估

作者对图像的特征计算FID距离从而进行定量评估。选择在医学图像上预训练的MedicalNet作为特征提取器，从而更好地针对医疗图像特点。

除此之外，为了对图像的多样性进行衡量，作者还针对MedicalNet的特征使用了Precision and Recall for Distributions （PRD）作为衡量指标，并对该值计算了AUC。评估结果如下：

训练效果评估

上面两种方式都只使用了生成的图像数据，为了进一步验证生成数据（包括标签）训练出来的模型的效果，作者分别在真实数据集和生成数据集上训练了3D U-Net模型进行分割。并使用两种方式对模型的分割效果金额了评估。

1. 所有血管
2. 颅内血管（大脑区域通过FSL-Brain Extraction Tool（BET）自动得到，如下图所示）
   

所有测试都选择在真实数据验证集上表现最好的模型。评估指标为Dice Similarity Coefficient（DSC）和balanced Average Hausdorff Distance（bAVD）。

模型效果如下：

除此之外，将生成数据混合真实数据训练也可以得到更好的结果：

结论

本文作者宣称这是第一篇将GAN网络用于生成TOF-MRA数据和标签用于训练的论文。并展示了即使面对不同的数据集，生成数据仍然能够对于训练有所帮助。不过从结果来看，单纯的使用真实数据就能够达到比生成数据更好的效果，而训练GAN模型时实际上已经使用了真实的标签了，所以再用GAN来生成数据有些多此一举，而且效果也不如真实数据，需要混合在一起使用才能够获得一点效果提升。
不过，本文对于数据的使用方式可能对于未来分享医疗数据的隐私保护有所启发，因为训练生成模型可以避免直接泄露患者信息。