增强的超分辨率GAN

ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks 2018 （ESRGAN：增强的超分辨率生成对抗网络）

1.介绍

• 在单图像超分辨率任务中生成逼真的纹理。

• 提出了一种 Residual-in-Residual Dense Block (RRDB) 的网络单元，在这个单元中，去掉了 BN（Batch Norm）层。

• 文章对感知域损失进行改进，使用激活前的特征，这样可以为亮度一致性和纹理恢复提供更强的监督。在这些改进的帮助下，ESRGAN 得到了更好的视觉质量以及更逼真和自然的纹理。

---

1.1SRGAN

• 基于 PSNR（峰值信噪比） 指标的模型会倾向于生成过度平滑的结果，这些结果缺少必要的高频信息。
• 感知域的损失函数提出来用于在特征空间（instead of 像素空间）中优化超分辨率模型；
• SRGAN 模型极大地提升了超分辨率结果的视觉质量。但是 SRGAN 模型得到的图像和 GT 图像仍有很大的差距。

1.2ESRGAN

• 网络的基本单元从基本的残差单元变为 Residual-in-Residual Dense Block (RRDB)；

• GAN 网络改进为 Relativistic average GAN (RaGAN)；

• 改进感知域损失函数，使用激活前的 VGG 特征，这个改进会提供更尖锐的边缘和更符合视觉的结果。

---

2.网络结构

• 对生成器G进行改进

  • 去掉所有的 BN 层；
  • 把原始的 block 变为 Residual-in-Residual Dense Block (RRDB)，这个 block 结合了多层的残差网络和密集连接。

• 对于不同的基于 PSNR 的任务（包括超分辨率和去模糊）来说，去掉 BN 层已经被证明会提高表现和减小计算复杂度。

• 判别器D采用的是VGG网络