SRDGAN : learning the noise prior for Super Resolution with Dual Generative Adversarial Networks

SRDGAN : learning the noise prior for Super Resolution with Dual Generative Adversarial Networks

Contributions

1、由于真实世界的图像往往具有复杂的退化模型，比如运动、去焦、压缩、传感器噪声等复杂的情况，本文提出了一种H2L(high-to-low)网络解决了实际移动图像与常用训练数据之间存在的不匹配问题；
2、提出了一个端到端框架，包括H2L网络和L2H（low-to-high）网络两部分。在训练过程中，利用双GAN网络对参数进行优化。此外，利用最近邻下采样法生成训练对这一新的训练策略，以进一步提高训练效果；
3、通过H2L网络生成大规模的通用超分辨率数据集GMSR（General Mobile Super Resolution）。该数据集可以支持对超分辨率领域的进一步研究，并可用于训练或作为一个判断的基准。

Inspired by

1、ESRGAN：增强型SRGAN，在SRGAN基础上提出了三点改进：
1）引入密集残差块（RDDB）来提升模型的结构，使之具有更大的容量和更易于训练。去除 了批量归一化（BN）层在，使用了残差缩放（residual scaling）；
2）提出了辨别器相对平均GAN（RaGAN），学习判断“是否一个图像相比于另一个更 真实”而不是“是否一个图像是真或假”；
3）改进感知损失，去掉VGG末尾后激活函数层，在VGG特征前激活。
本文的L2H网络直接采用ESRGAN的网络结构。

2、To learn image super-resolution, use a GAN to learn how to do image degradation first
1）提出的网络分为两个阶段：H2L与L2H
2）应用于人脸范畴
本文沿用了H2L和L2H的框架，应用于自然图像。

Model

H2L网络：

此处N是高斯随机噪声。网络结构：4个残差块、一个卷积层，每个残差块由2个卷积层和2个激活函数组成。

L2H网络：

网络结构直接采用ESRAGAN的网络结构。

Datasets

包含由Blackberry key2设备采集447对分辨率为40323024的图像，被随机划分为训练集（400）、验证集（27）、测试集（20），每个图像对包含一张噪声图像??_?和对应的高清图像??_?。??_? 是采用多帧去噪方法对拍摄的20幅噪声图像进行自适应融合，生成清晰的高分辨率图像。在训练过程中对??_n 进行下采样(最近邻插值)得到L?_?,“与” ??_? “构成图像对” 。

包含由Blackberry key2设备采集206张分辨率为40323024的图像，图像内容和I_????不同。将这206张图片随机裁剪为大小和L?_?一致的图像块?_?? ，输入D网络，帮助H2L网络学习真实的噪声分布。

包含从网上采集的大量高清图像，以及将这些图像输入H2L网络后生成的对应的低分辨率图像组成的图像对，一共1153对，记为?_sim。

Training Procedure

Result

• ’ESRGAN’ 即为下采样得到LR图像，采用DIV2K数据集并按照原始方法训练的结果；
• ’ESRGAN*’ 采用与ESRGAN相同的网络结构，数据集采用对DIV2K数据集用最近邻插值进行下采样后的图像，以及本文提出的GMSR数据集，对网络进行训练得到的结果；
• ’Ours’是采用本文提出的网络结构和数据集进行训练得到的结果。

My View

1、本文提出的H2L的网络结构较为简单，我们可以尝试对这部分网络进行改进；
2、本文的L2H部分的网络直接沿用ESRGAN部分的网络结构，我们可以尝试其他的网络来实现低分辨率图像到高分辨率图像的转换；
3、本文提出的框架包含2个部分：H2L和L2H。我们可以结合上周的论文提出一个包含3个部分的新的框架:
1）H2L 网络；
2）对1）中得到的LR图像进行特征提取；
3）对2）的结果进行上采样网络。