《ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks》介绍及代码

RRDB是由2018年发表在ECCV的《ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks》提出的，该论文提出的方法在PIRM2018-SR Challenge中获得了第一名。代码。文章主要是在SRGAN的改动，SRGAN网络架构如下图所示：

论文的主要工作有三个：

1. 修改了SRGAN的网络架构，去掉了所有的BN层，将原始基础的残差块用提出的RRDB替换，如下图所示：

这样做的原因为：
（1）BN层在训练期间使用批次的均值和方差对特征进行归一化，在测试期间使用整个训练数据集的估计均值和方差。当训练和测试数据集的统计数据差异很大时，BN层往往引入不适的伪影，限制了泛化能力，去掉BN层减少了计算复杂度以及内存
（2）根据已有的知识可以发现，网络层数和连接越多，效果越好。RRDB引入了更深和更复杂的架构，具有residual-in-residual结构，不需要担心梯度爆炸等问题。在主路上使用密集块，提高了网络能力。

2. 使用相对判别器代替了标准的判别器。如下图所示：

对于生成器和判别器的损失函数也和传统的发生了变化，


这样做的好处在于：
与SRGAN中的标准鉴别器D不同(它估计一个输入图像x是真实和虚假的概率)，相对鉴别器试图预测真实图像xr比虚假图像xf相对更真实的概率。这样本文生成器优势适合于对抗训练中生成的数据和实际数据的渐变，而在SRGAN中，只有生成的部分生效。

3.提出了一个更有效地感知损失，在激活函数之前约束特征，最终的损失函数定义为：

这样做的原因为：
（1）通过激活函数后的特征是非常稀疏的，特别是在一个非常深的网络之后。
（2）使用激活函数后的特征也会导致重建的亮度与地面真实图像不一致。

4.提出了网络插值
首先训练一个PSNR-oriented网络$G_{PSNR}$，然后通过微调GAN-based网络获得$G_{GAN}$。我们对这两个网络的所有相应参数进行插值，得到一个插值模型$G_{INTERP}$，其参数可以表示为：

这样做的好处有：
（1）插值模型能够在不引入伪影的情况下对任何可行的 $\alpha$ 产生有意义的结果。
（2）可以在不重新训练模型的情况下，持续地平衡感知质量和感觉。