Meta-SR: A Magnification-Arbitrary Network for Super-Resolution阅读笔记

文章发表于CVPR 2019
论文下载链接：http://arxiv.org/abs/1903.00875
论文源代码部分，作者目前还没有公开。

目前的SISR网络大多解决的问题针对单一放大尺寸问题，这样在实际应用中，SR具有一定的局限性。作者受到meta-learning启发，本文提出了Mera-SR，可解决任意放大尺寸的图像超分辨率问题，这样使得SISR可以具有更多的实际应用。

论文的整体思路很清晰新颖。

Meta-SR网络整体结构

Meta-SR由两部分模块组成：the Feature Learning Module and the Meta-Upscale Module，整个Meta-SR结构如下图所示：

Feature Learning Module

Feature Learning Module（特征学习模块），当前绝大数的SR网络都可以选作特征学习模块，文中选用的state-of-the-art的SISR网络RDN。

Meta-Upscale Module

Meta-Upscale Module（元上采样模块），这部分工作是本文的核心工作和创新点。该模块是一个网络，可以动态预测任一放大尺寸的过滤器权重，Our Meta-Upscale Module takes this coordinate-related and scale-related vector as in- put and predicts the weights for the filters.

对于Meta-Upscale Module，主要由3部分组成：

1.Location Projection（HR-LR像素位置映射）

2.Weight Prediction（权重预测），使用一特定网络作为权重预测网络，Meta-SR结构图©部分，2个FC层，1个Relu激活层。
权重预测网络：

权重预测网络的input：

3.Feature Mapping（特征映射）
通过以上两个步骤，SR图片中的像素值通过如下公式计算：

整个Meta-Upscale Module的算法如下：

实验部分

由于缺少类似相关工作，作者在实验部分定义了很多baseline。

网络训练使用的数据集是DIV2K。

测试集是Set14,B100,Manga109和DIV2K。在Y通道上通过比较PSNR和SSIM值来验证实验效果。

loss用的是L1 loss，batch是16，size是50×50，训练的scale factors以0.1的步长从1到4训练，服从均匀分布。

batch里面的每个图都是一样的scale factor。Meta-SR是从头开始训练的，没有预训练。

实验硬件环境：Tesla P40 with Intel Xeon E5-2670v3@2.30GHz

通过上述结果，相比于Feature Learning Module部分耗时，Weight Prediction Module的运行时间是可以忽略不计的。