读书笔记：Red blood cell image generation for data augmentation using Conditional Generative Adversarial

读书笔记：Red blood cell image generation for data augmentation using Conditional Generative Adversarial Networks

利用GAN来增强数据集是我最近的学习之一，这几天我将重点放到数据集增强两篇论文中加强理解。同时这一次阅读论文我以段落为单位进行阅读与提炼重点。

论文的主要内容：

摘要abstract

背景：提出了一种image2image增强的技术方法，通过我们提出的方法可以产生新的数据数量sample，同时可以有效的提升小数据的效果。
方法：通过给出的微缩真实图像分割mask，我们的方法可以通过segmentation mask结合我们的方法产生photo真实图片数据集（以下简称pd）。利用这些pd我们可以用于各种任务，比如说分割，目标检测等任务的训练中。
答案：

1. pd基于 conditional GAN中（C GAN已经多次证明了自己高质量的图像合成能力）
2. 利用GAN，我们不仅能高质量的结合图像，同时我们还能生成多种类的mask

Introduction

第一段
背景：深度学习已经在图像领域的各项任务广为使用，其中一个十分重要的原因便是数据集丰富大量。但是医学数据集的数量却远远不如传统数据集的数量，有balabala的原因。

第五段：
答案：随着GAN网络的产生，我们提出了一种强大的图像生成的方法
wang等人提出了pix2pixHD的model，这个model可以通过给出的instance segmentation mask来产生高质量的pd

第六段：
全文章概括：

• 我们的目标是要产生能进行训练的pd；
• 将mask输入GAN网络进行训练，产生pd血液图像（通过synthetic(合成的) instance segmentation mask）；
• 而这些synthetic(合成的) instance segmentation mask是通过mask generator自动产生的；
• 细胞的shape是通过exmeplar dataset所产生的，这些exmeplar dataset是严格按照自然情况建立的；

第七段
介绍一下数据集：
我们手工建立的一个显微镜下的红细胞图像数据集，同时也对数据集搞了一个instance-level级别的real segmentation mask。
这个数据集不仅用于GAN训练，产生pd血细胞图像，而且还用于产生一个exmeplar dataset

第八段：
图一：训练完成之后自动产生mask，同时可以产生用于多种任务的sample
图二：说明了算法概要

Dataset

第一段
为了得到我们的数据集，我们搜集了100位患者的血液并对其进行了预处理着色等。在对载玻片上的血细胞进行一系列的处理之后，我们将载玻片放到X40的显微镜下进行观察拍摄。
第二段
在得到载玻片的图像之后，我们对载玻片图像手动挑选其中的100张图片（因为我们要保证红细胞图像多样化），提升数据集的跨度
第三段
接下来我们开始对数据集进行标注的工作（annotations technique）。我们希望可以得到的标注图像能对所有的细胞进行分割
第四段
对像素进行上色。我们利用预定义好的颜色对细胞像素进行一个上色，为了防止重叠带了误判重叠的细胞将会被进行分割，没有重叠的会拥有相同的颜色（当然还会有一些的别的细胞或者噪声，但是在这篇论文我们focus on 红细胞）

Meth

合成新的样本主要分为两个步骤，第一步是产生synthetic mask，第二步是将这些mask转为pd图像（细胞的）

训练和测试的可视化如图二所示

- Synthetic mask generation 产生synthetic mask
第一段
背景：为了要产生pd图像，所以我们先要生成synthetic mask ,同时这些mask需要有独特的形状和位置信息。
方法：我们设计了一个synthentic segmentation mask generator
第二段
背景： 为了得到拥有细胞形状的自然多样性和相似性的模型，我们使用exemplar来提取细胞形状。这些通过训练和测试两步组成。
方法（训练）：训练阶段积累并建立所有细胞形状/边界而来建立cell shape database.训练中我们提取每个细胞的边界，同时将细胞形状转为二进制（foreground和background）并保存进细胞形状database之中。该数据库在推断阶段充当血细胞形状供应商。
方法（推论）：推论便是生成新的样本。这个cell shape sampler将反复的从形状数据库中反复随机选取细胞形状，并将这些形状放在segmentation mask上。同时在随机提取形状的时候，我们还会应用一系列的概率使得外观多样化，创建一些我们不曾看过的细胞，这些增强包括旋转，缩放，水平和垂直翻转。
第三段：
背景：最简单的方法就是对坐标进行随机采样，然后将细胞的synthetic segmentation mask随机的location。但是这种方法会导致和实际细胞分布相差较大——会导致图像上的单元格均匀随机分布实际上，细胞粘附，细胞趋于彼此粘附，因此形成簇。
方法：我们的细胞分布算法从2D离散空间上定义的概率密度函数顺序采样每个细胞的适当位置。我们使用马尔可夫随机过程这种演化性质建模

同时，在将细胞放到synthetic mask上时，都会为细胞上指定的颜色，使满足互相接触的细胞不会具有相同的颜色。这样颜色的形式可以与instance segmentation mask一同treat，并有可能提取每一个细胞。

• Synthetic blood image generation
  背景：通过给出的instance segmentation mask ，我们使用稍微修改过的pix2pixHD模型产生pd图像。这框架可以通过输入的segmentation mask轻松合成synthetic image
  方法：我们的pix2pixhd 由Generator G组成，将segmentation mask转为pd图像
  由Discriminators D=（D1,D2）组成，两个多尺度鉴别器。这两个家伙就在从生成的图像分辨出真实图像
  
  完整的网络如上，具体内容在这篇论文T.-C. Wang, M.-Y. Liu, J.-Y. Zhu, A. Tao, J. Kautz, and B. Catanzaro. High-resolution image synthesis and semantic manipulation with conditional gans. In CVPR, 2018.

Experiments and Results

• Synthetic blood image generation

我们使用稍微修改过的pix2pixhd来进行训练，同时训练只使用训练集进行训练，图5显示了测试集图像上的网络输出，我们可以比较合成图像和相应的真实图像。

背景：网络可以根据segmentation mask学习形状 颜色 边界，之后可以生成很逼真的图像。

• Segmentation
  分割的任务我们交给了FCN-8S model进行分割

**
分割的结果如上图，我们还是得对图像进行一个加工（aug），能得到更好的结果

• Detection
  我们用基于resnet-101的faster rcnn模型进行检测

• Detection from segmentation
  尽管faster rcnn有得到很好的结果，但是我们仍然想要考虑更加轻量化快速的模型

Conclusion

综上所述，基于我们已经执行的实验，对于我们的特定策略和算法设计，使用GAN作为合成数据生成器以及进一步利用生成的样本作为增强技术通常对模型性能有利。