SRGAN:Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

论文地址：http://arxiv.org/abs/1609.04802

代码地址：https://github.com/OUCMachineLearning/OUCML/blob/master/GAN/srgan_celebA/srgan.py

一.文献总结

文章提出了一种生成对抗网络（GAN）方法，用于单图像超分辨率（SR）。GAN由生成器网络和判别器网络组成，两者交替训练。生成器网络旨在生成高分辨率图像，使判别器网络难以区分真实高分辨率图像。GAN中使用的感知损失函数是内容损失和对抗损失的组合。内容损失衡量生成图像与真实高分辨率图像之间的相似性，而对抗损失鼓励生成器生成与真实高分辨率图像相似的图像。GAN在大量低分辨率和高分辨率图像对的数据集上进行训练。实验结果表明，所提出的GAN方法在感知质量和客观评估指标方面优于其他现有方法。

二.摘要

存在问题

当我们以大的放大因子进行超分辨率时，如何恢复更精细的纹理细节？

以前的解决方案

基于优化的超分辨率方法的行为主要由目标函数的选择驱动。最近的工作主要集中在最小化均方重建误差。由此产生的估计具有较高的峰值信噪比，但它们通常缺乏高频细节，并且在感知上不令人满意，因为它们无法匹配更高分辨率下预期的保真度。

本文方案

SRGAN 是一种基于生成对抗网络（GAN）的图像超分辨率方法。它被描述为第一个能够为4×提高分辨率因子生成类似于照片逼真自然图像的框架。引入了一种感知损失函数，包括对抗性损失和内容损失。对抗性损失通过一个鉴别器网络来推动解决方案接近自然图像领域，该鉴别器网络训练用于区分超分辨率图像和原始逼真照片图像。此外，SRGAN使用了基于感知相似性而不是像素空间相似性的内容损失。

实验结果

研究表明，深度残差网络能够从大量下采样的图像中恢复出照片逼真的纹理。通过广泛的主观评分测试，SRGAN在感知质量方面取得了巨大的改进，其主观评分接近于原始高分辨率图像，而不同于任何最先进的方法。

三.引言

在重建超分辨率图像中通常缺乏纹理细节。传统的监督式的ISR优化目标通常是最小化恢复的高分辨率图像与真实图像之间的MSE.然而，MSE（和PSNR）的能力来捕捉感知相关的差异，如高纹理细节，非常有限，即使PSNR很高，恢复的图像也不一定在感知上看起来逼真。

本文提出了一种超分辨率生成对抗网络SRGAN,采用具有跳跃连接和偏离MSE的ResNet作为唯一优化的目标。使用 VGG 网络的高级特征图结合判别器定义了一种新颖的感知损失，鉴别器鼓励生成的图像在感知上难以与高分辨率参考图像区分开来。

四.相关工作

像MSE这样的像素级别损失函数往往难以处理在恢复丢失的高频细节（如纹理）时存在的不确定性。研究通过使用生成对抗网络（GANs）来处理图像生成问题，GANs的思想是让网络生成的图像更接近自然图像的分布，从而提高图像质量。

研究人员还尝试将像素级别的MSE损失与判别器损失相结合，以训练网络，这种方法可以用于处理具有大幅度上采样因子（如8×）的图像超分辨率问题。

研究人员还尝试将像素级别的MSE损失与判别器损失相结合，以训练网络，这种方法可以用于处理具有大幅度上采样因子（如8×）的图像超分辨率问题。

本文首先描述了ResNet，利用GANs的概念构建了一个感知损失函数，用于实现逼真的图像超分辨率（SISR）。使用16个深度残差块的SRResNet，针对均方误差（MSE）进行了优化，创造了高上采样因子（4×）情况下的图像SR领域的新的技术水平，以峰值信噪比（PSNR）和结构相似性（SSIM）为衡量标准。提出了SRGAN，优化了一种新的感知损失。用VGG网络的特征图替代基于MSE的内容损失，这使得损失更不受像素空间变化的影响。

五.方法

对抗性网络框架

在训练中，ILR通过将高分辨率图像IHR应用高斯滤波器，然后进行下采样操作（下采样因子为r）来获得。
目标是训练一个生成函数，函数能够估算给定LR输入图像的对应HR高分辨率版本。
生成器网络：包含B个残差块（residual blocks）。每个残差块包括两个卷积层，使用3×3的卷积核和64个特征图的卷积层，之后是批量归一化层和ParametricReLU激活函数，并且使用两个经过训练的子像素卷积层来提高输入图像的分辨率。
判别器网络：判别器的目标是将真实的高分辨率图像与生成的超分辨率样本区分开。判别器网络包括了八个卷积层，每个卷积层都有逐渐增多的3×3滤波器核，从64个核逐渐增加到512个核，类似于VGG网络。他们使用了分步卷积（strided convolutions）来降低图像分辨率，并最终通过两个全连接层和sigmoid激活函数来获得样本分类的概率。
GAN的核心思想是生成器通过生成与真实图像高度相似的图像来欺骗判别器，判别器则被训练来将这两者区分开。

感知损失函数

将感知损失表示为内容损失和对抗性损失分量的加权和

内容损失：

VGG损失的定义是重建图像 和参考图像的特征表示之间的欧几里德距离。φi,j 表示在VGG19网络内第i个最大池化层之前第j个卷积层（经过激活函数）获得的特征图

对抗性损失：

通过试图欺骗判别器网络，鼓励网络生成更符合自然图像流形的解决方案

六.实验

在Set5、Set14和BSD100上进行实验，所有实验都使用4×的尺度因子在低分辨率图像和高分辨率图像之间进行。