论文解读《Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network》SRGAN

1 文章介绍

在本文中，作者介绍了SRGAN，这是一种用于图像超分辨率（SR）的生成对抗网络（GAN）。号称第一个能够为4倍放大因子推断出逼真的自然图像的框架。而且文章提出了一种感知损失函数，该函数由对抗损失和内容损失组成。此外，作者使用感知相似性而非像素空间相似性引起的内容损失。广泛的均值评分（MOS）测试显示，使用SRGAN可以显着提高感知质量。用SRGAN获得的MOS得分比使用任何最新方法获得的MOS得分更接近原始高分辨率图像的MOS得分。

2 文章贡献

•通过PSNR和结构相似性（SSIM）来衡量具有高放大倍数（4x）的图像SR的最新技术。
•基于MSE的内容损失替换为在VGG网络的特征图上计算的损失，该损失对于像素空间的变化更加不变。
•对来自三个公共基准数据集的图像进行了广泛的平均意见评分（MOS）测试，证实SRGAN的优越性能

3 loss函数

loss分两部分，分别为content loss和对抗adversarial loss：以下为总公式，可以看出两个loss的权重占比

3.1 content loss

作者没有使用传统的l1或者l2loss，而是使用了如图所示的loss

作者认为传统的损失函数对学习图像的高频细节不友好，所以作者使用了此loss
由VGG得来：φij的由来：由VGG19 network 内的第i个maxpooling layer前 的第j层卷积(after activation)得到的feature map 特征图，这里有点绕，其实VGG loss是求重构图像和参考图像的特征图的欧式距离，就是求feature map的欧氏距离

3.2 adversarial loss

对抗loss是常用的对抗loss

4 网络结构

作者给出的图非常清楚，k：卷积核，n：feature map，s：步长

生成网络结构，基于Resnet网络结构；

辨别网络结构，LeakyReLU(0.2)为激活函数，featuremap层数从64到512，后面连接两个全连接层和一个sigmoid层，用来判断是否为同一图像的概率；

5 数据集

三个广泛使用的基准数据集Set5 [3]，Set14 [69]和BSD100（BSD300的测试集[41]）上进行了实验。

6 实验结果

1） MOS评价

这里的SRGAN比较符合HR的MOS分布
2）不同的VGG 层作为特征的损失函数性能：