Generative Adversarial U-Net for Domain-free Medical Image Augmentation

论文下载：

http://xxx.itp.ac.cn/pdf/2101.04793.pdf

---

Generative Adversarial U-Net for Domain-free Medical Image Augmentation

用于无域医学图像增强的生成对抗U-Net

摘要

标注的医学图像的缺乏是医学图像计算领域的巨大挑战之一。没有足够的训练样本，深度学习模型有很大的可能性遇到过拟合的问题。常用的图像处理方法有图像旋转、裁剪、调整图片大小（resizing）等。这些通用的方法引入了更多的训练样本，可以帮助减轻过拟合问题。但是他们没有真正引入有更多信息的新图片，也可能会导致数据泄漏，因为测试集可能包含类似的样本出现在训练集中。为了解决这个挑战，我们提出用生成对抗网络生成多样的图片。在本文中，我们设计了一个新颖的生成方法，名字叫作生成对抗U-Net（generative adversarial U-Net），同时利用的生成对抗网络和U-Net。与现有方法不同，我们新设计的模型是无域的（domain-free），可泛化到各种医学图像。在8个数据集上进行了更多的实验，包括CT扫描影像、病理学影像、X射线影像等。视觉效果和定量结果都征明了提出的方法在生成大量高质量的医学图像有效性和良好的泛化能力。

 

Index : 生成对抗网络、U-Net、数据增强，医疗影像分析

 

Introduction

最常用是数据增强方法：

The most commonly used data augmentation strategy is dataset manipulation including various simple modfications of the data, such as translation, rotation,flip,crop, and scale [5],[6].

但是，像素级的修改不能引入新的图像，只能引入原始图像的变体，因此仍然可能出现过拟合问题。而合成数据增强方法则被认为是更合理的替代方法，因为它可以根据原始图像生成复杂类型的数据。

 

GAN在分割上的应用：

       1.Xue et al. [19] used two GANs to learn the relationship between brain MRI images and a brain tumor segmentation map.

       2.GAN+NAS 胸部器官分割；

       Dong et al. [20] adopted GAN to do the neural architecture search to find the best way to make the segmentation for chest organs.

       3.Khosravan et al. [21] introduced a projection module into GAN to boost the performance of segmentor on the lung.

然而现有大多数研究都是针对某一任务或领域，没有鲁棒性强且可以泛化于多种任务中的方法。在本文中我们提出一个domain-free 的GAN的结构，适用于任何一个领域而不是特定一个。（胡言乱语。。。只是将本文提出的结构在不同类型的数据集上进行训练和测试，X-Ray，CT,pathology等）。

为了解决原始GAN中训练不稳定，模型难以收敛的问题，使用Wasserstein GAN作为主要框架。

U-Net是用于医学图像分割的一个著名框架。语义分割是像素级的，需要强大的特征提取能力。GANs里的生成网络有着相似的能力。在本文的研究中，所以我们采用U-Net作为生成器。

 

本文贡献/研究内容/模型特点 概述：

Domain-free(只是训练数据包含多种不同类型的医疗数据。模型并没有特别的。)

GANs 采用wasserstein gan,CGAN（采用wasserstein loss; 高斯噪声+某一类image）

U-Net作为GAN中的生成器。输入:高斯噪声+某一类image；DenseNet作为判别器。

（基本没有原创性东西）

METHODOLOGY

一共C个类别的图像数据，给定任意一个类别，从该类别采样两个不同的图像xi,xj。

Xj + 高斯噪声 送入生成器生成图像xg。我们希望确保生成器能够生成与原始图像xj相关但又不同的图像。

Conditional GANs learn a mapping from a random noise vector z and observed images xi for class ct to the output image xg, Gc : (z, xi) → xg.

判别器对<xi,xj>，<xi,xg>判别真假。

另外，提供了类信息，生成器可以在其中更好地学习所有类的通用模式。（domain-free?这本质上就是cgan的思想。）

没什么太大参考价值。