深度学习图像处理目标检测图像分割计算机视觉 13--图像生成GAN

摘要

本章主要学习生成式对抗网络GAN，GAN的提出最初主要是因为训练样本太少，但是构造训练样本是一件比较麻烦的事，就想让他自己产生，所以就有了GAN。GAN的产生的意义就是要构造一些真实的样本。以及他的常见的改进的形式DCGAN是通过深度学习的卷积层的堆叠的改进，尤其是WGAN是里程碑式的一个改进，他在传统GAN的基础上只要改四个点就可以很好的解决传统GAN上的各种问题，目前为止还没有发现在WGAN上有传统GAN上的问题，还有SRGAN是可以让一个低分辨率的图变成一个高分辨率图，是特别的一种GAN。

一、图像生成

1.1 VAE

1.2 生成式对抗网络GAN

1.3 DCGAN

1.4 WGAN

1.5 SRGAN

二、Structure and Illumination Constrained GAN for Medical Image Enhancement

2.1 摘要

医学影像技术的发展为临床决策提供了有力的支持。然而，成像质量差，如照度不均匀或强度不平衡，给疾病的自动筛查、分析和诊断带来了挑战。在此之前，已经有人提出了双向gan(如CycleGAN)，以提高输入图像的质量，而不需要成对的图像。然而，这些方法关注的是整体外观，没有对结构或光照的限制，这是医学图像解释的基本特征。在本文中，我们提出了一种新的、通用的双向GAN，命名为结构和光照约束GAN (StillGAN)，用于医学图像质量增强。我们的StillGAN将低质量和高质量图像视为两个不同的领域，并引入局部结构和光照约束来学习整体特征和局部细节。在角膜共聚焦显微镜、视网膜彩色眼底和内窥镜图像三种医学图像数据集上的大量实验表明，我们的方法优于传统方法和其他基于深度学习的方法。此外，我们还研究了所提出的方法对不同的医学图像分析和临床任务的影响，如神经分割，弯曲分级，中央凹定位和疾病分类

2.2 简介

提出一种新的医学图像增强框架，称为结构和光照约束GAN (StillGAN)。
•提出了一种新的双向GAN，称为StillGAN，以提高低质量医学图像的可读性。新模型引入了光照正则化和结构损失，分别改善了光照条件和保留了结构细节。光照正则化的目的是通过减小增强图像中光照分布的差异来改善光照均匀性，而结构损耗则是通过减少低质量图像与增强图像在结构上的差异来尽可能地保留结构细节。与其他深度学习方法相比，本文提出的StillGAN在增强多模态图像的各种指标上取得了更好的整体性能。
•采用三种不同的医学图像模式——共聚焦显微镜、彩色眼底和内窥镜图像，对提出的方法进行了严格的定量和定性评价。对于每种医学图像模式，我们根据其各自的成像特点和临床兴趣，采用不同的图像质量评估方法。

2.2.1 模型