论文笔记EPSR：Analyzing Perception-Distortion Tradeoff using Enhanced Perceptual Super-resolution Network

最新推荐文章于 2023-07-16 14:40:36 发布

Hawk Yang

最新推荐文章于 2023-07-16 14:40:36 发布

阅读量2.4k

点赞数

分类专栏：论文笔记文章标签：超分辨率 GAN SR 感知损失 EPSR

本文链接：https://blog.csdn.net/m0_38129460/article/details/84866381

版权

论文笔记专栏收录该内容

2 篇文章 0 订阅

订阅专栏

作者提出的EPSR模型源码可在Github下载。

论文下载地址：https://arxiv.org/abs/1811.00344v2

ECCV2018 PIRM-SR超分辨率挑战赛地址：https://www.pirm2018.org/PIRM-SR.html

一、文章主要贡献

1.EPSR模型主要基于EDSR改进，并在ECCV2018 PIRM-SR超分辨率挑战赛中的三个区域分别位列1、2、3名。

2.EPSR模型主要由EDSR和SRGAN（主要使用SRResnet）经过小的调整构成，同时作者对生成器损失函数进行了适当改进。

3.通过EPSR模型分析了失真程度（distortion）和感知质量（perception）间的交换关系，并证明EPSR实现了最高效的交换。

二、模型结构

作者的思想其实就是将EDSR融合进SRGAN中，如图所示。conv（n,k,s）中，n, k分别指卷积核数量、尺寸，s指卷积步长。

1.生成器EDSR

EDSR直白一点讲就是SRResnet去掉了BN（Batch Normalization）结构，同时在每个Resblock（32个）的最后一个卷积后插入一个缩放层(scaling factor=0.1)，这样做是为了在没有BN的情况下稳定训练过程，同时可构造更深层次且每层更多特征单元的网络。实验结果显示移除BN层可减少40%的计算消耗。

（题外，关于BN工作原理，今日发现一篇文章可以很好的解释：《How Does Batch Normalization Help Optimization?》，往后会进行阅读解析。）

损失函数： $\large L_{G}=\lambda _{1}L_{VGG}+\lambda _{2}L_{E}+\lambda _{3}L_{adv}$ ，也是作者主要改良的部分，作者通过调整参数 $\large \lambda _{1}$ 、 $\large \lambda _{2}$ 、 $\large \lambda _{3}$ 改变模型的高分辨率生成倾向（更加重视细节失真（相对原图）程度还是视觉舒适度），其中：

MSE均方误差 $\large L_{E}=\left \| I_{est} -I_{HR}\right \|_{2}^{2}$ ，传统模型使用的损失，目的是使生成图像与原图尽量一致；

内容损失 $\large L_{_{VGG}}=\left \| \phi \left ( I_{est} \right )-\phi \left ( I_{HR} \right ) \right \|_{2}^{2}$ ，提供更高的细节清晰度（视觉感知质量），但细节可能与原图有差异；

对抗损失 $\large L_{adv}=-\mathrm{log}D\left ( G\left ( I_{LR} \right ) \right )$ ，同样保证视觉感知质量，内容损失和对抗损失共同组成感知损失。

$\large \phi \left ( X\right )$ ：VGG某层特征图。这里用的VGG19中第4层卷积(激活后)、第5层最大池化前的特征图。（不太理解怎么用的VGG19，还请明白的筒子赐教）

-----------------------20181222补充-----------------------

此处VGG为独立的网络模型，（仅仅只是）用于提取更适用的特征，也需要被训练，。

--------------------------------------------------------------

$\large I_{est}$ ：生成器生成图像， $\large I_{HR}$ ：Ground truth原高清图像， $\large I_{LR}$ ：下采样低分辨图像。

2.判别器:10层卷积网络

如上图，这里不做过多介绍。

损失函数： $L_{D}=-\mathrm{log}\left ( D\left ( I_{HR} \right ) \right )-\mathrm{log}\left ( 1-D\left ( G\left ( I_{LR} \right ) \right ) \right )$

三、训练细节

只说重点，训练使用的DIV2K数据集，将原图双三次插值下采样为原图1/4，作者在每一轮训练两次判别器和一次生成器，优化方法使用ADAM，训练总计300轮其中前150轮学习率为5e-5，后150轮学习率为(5e-5)/2。作者使用VGGNet的预训练模型权重加强感知损失，同时使用预训练的EDSR预训练模型参数进行训练。