ESRGAN

ESRGAN理解

《ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks》

准备

这篇文章是SRGAN的改进，所以要先读懂SRGAN才行。推荐原文《Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network》和这个复现的代码《一文掌握图像超分辨率重建（算法原理、Pytorch实现）——含完整代码和数据》细致的讲解。
SRGAN的特点在于：
1、网络结构使用了GAN的方式做超分，图片很详细地展示了网络结构

2、损失函数引入了感知损失这一概念。计算VGG的特征作为损失函数的输入，注重特征而不是逐个像元求差异。

论文原理

ESRGAN对SRGAN进行了四点改进。（论文写的改进了三个方面，但是分了4个小标题，所以不要纠结这个）
1、生成器网络结构改进：对于生成器G，删除BN层和替换残差块
首先删除了所有的BN层。论文给出了解释：在面向PSNR（Peak Signal-to-Noise Ratio）的任务中，BN层表现很差，因为训练集和测试集的分布不一致，而且凭经验看，在关于GAN的深层网络中，BN会带来一些伪影。去除之后，可以提升性能和降低计算复杂度。

然后把残差块替换为Residual in Residual Dense Block (RRDB)，这是残差套残差的一个结构，如图所示。而且使用了一个权重β来缩小dense block，还使用一个较小的初始方差

2、判别器改进：
借鉴了Relativistic GAN的思想进行改进，传统的GAN计算loss时，传统GAN的判别器计算真实数据与1之间的loss，计算生成数据与0之间的loss。这里改为：直接计算真实数据与生成数据之间的loss。嗯，这样想应该是对的，超分任务中，要的是超分结果与原图相近，而不是超分结果与1相近。0和1作为中间商，阻碍了信息的传播（细思极恐，脑洞大开~~MLP里面是不是也可以把0和1去掉，直降让数据之间互相沟通）。

具体损失函数：
判别器：

生成器：

可以看到，主要是比较的两个图片之间的差异。
3、感性损失
类似于SRGAN里面使用VGG求特征的损失。与之不同的是，本文提出，使用的特征应在VGG的激活层之前。而且又加了一个content loss。所以，总的loss应该分为三个方面：

4、网络插值
先训练一个基于PSNR的网络，再在该网络的基础上finetune一个GAN网络，最后把这两个网络插值。

实验

效果自然是很好的。
作者做了四组消融实验：
1、BN层移除。这个实验证明了，在移除BN之后，性能并未降低，但是节省计算资源。
2、在激活函数前使用感知损失。发现这样做会生成更清晰的边界和纹理。
3、RaGAN，有用
4、RRDB。效果好

代码待补充。。。。