Meta-SR: A Magnification-Arbitrary Network for Super-Resolution论文阅读笔记

一、创新点
引入元学习的思想构造Meta-Upscale Module，首次实现LR图像通过单模型进行任意尺度的上采样，通过动态预测上采样卷积参数，在应用上达成类似在图片查看器中滚动滑轮查看图片的效果。
二、模型结构
整个网络分为两个模块：Feature Learning Module和Meta Upscale Module

1. Feature Learning Module
   Feature Learning Module其实就是RDN模型。这里RDN如图1所示使用的3个卷积层和16个RDB(Residual Dense Block)，每个RDB包含8个卷积层，其growth rate设为64，即特征通道为64。
   使用RDN是因为它的效果最好。同样也可使用EDSR、RCAN等其他模型前端作为Feature Learning Module。
   
   2.Meta Upscale Module
   这个模块依据Meta Learning的思想，学习对应不同因子上采样的卷积核数量及权重参数。
   Meta Upscale Module本质是一个FC网络，能生成对应不同上采样因子SR的卷积核数量及参数，这里由FC层+ReLU层+FC层构造。由于网络输入输出维度差别较大，FC层神经节点数设置为256。
   上采样模块在运算上可分解为三个函数，即Location Projection，Weight Prediction，Feature Mapping。
   1）位置投影Location Projection
   对每个SR图像的像素点 ( i,j)，要找到LR图上一点与之对应，并认为由该SR像素值由该LR点生成。找到对应点的方法：
   
   实际就是一个向下取整，通过每个目标SR像素坐标找到其在LR上的投影位置，一维图示如下：
   
   2）权重预测Weight Prediction
   
   
   3）特征映射Feature Mapping
   
   Meta Upscale Module算法伪代码：
   
   三、实验细节
   训练集：DIV2K for training
   测试集：Set14，B100，Manga109，DIV2K for testing
   评价方法：PSNR，SSIM
   训练过程：双三下采样；旋转数据增强；目标函数采用L1损失以确保更好的收敛；batch size 16，input size 50*50；ADAM；训练的尺度因子从1到4，最小变化单位0.1。采用4个并行GPU P40训练。

四、结果
1.不同采样因子Meta-RDN与RDN、EDSR结果对比

2.运行速度对比


3.与state-of-the-art模型性能对比

4.生成SR展示