SRGAN 论文学习

Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

https://arxiv.org/pdf/1609.04802v1.pdf

关于单幅图像的高分辨率重建

1. 一些介绍

  文章提到，训练网络时用均方差作为损失函数，虽然能够获得很高的峰值信噪比，但是恢复出来的图像通常会丢失高频细节，使人不能有好的视觉感受。SRGAN利用感知损失(perceptual loss)和对抗损失(adversarial loss)来提升恢复出的图片的真实感。感知损失是利用卷积神经网络提取出的特征，通过比较生成图片经过卷积神经网络后的特征和目标图片经过卷积神经网络后的特征的差别，使生成图片和目标图片在语义和风格上更相似

  SRGAN是在SRResnet的基础上加上一个鉴别器。GAN的作用，是额外增加一个鉴别器网络和2个损失（g_loss和d_loss），用一种交替训练的方式训练两个网络。

2. 模型

生成器：

在生成网络部分(SRResNet)部分包含多个残差块，每个残差块中包含两个3×3的卷积层，卷积层后接批规范化层(batch normalization, BN)和PReLU作为激活函数，两个2×亚像素卷积层(sub-pixel convolution layers)被用来增大特征尺寸。

判别器：

在判别网络部分包含8个卷积层，随着网络层数加深，特征个数不断增加，特征尺寸不断减小，选取激活函数为LeakyReLU，最终通过两个全连接层和最终的sigmoid激活函数得到预测为自然图像的概率。

3. loss函数

G loss：

可以看到G loss 分为 内容loss 和 对抗网络 loss

内容loss 包括 mseloss 和 vggloss：

Mseloss : 像素空间的最小均方差：

Vggloss: 作者定义了以预训练19层VGG网络的ReLU激活层为基础的VGG loss,求生成图像和参考图像特征表示的欧氏距离。在已经训练好的vgg上提出某一层的feature map，将生成的图像的这一个feature map和真实图像这一个map比较。

 

对抗loss 就是GAN模型定义的生成器部分的loss：

 

D loss：

GAN模型定义的鉴别器部分的loss：