论文笔记Meta-SR: A Magnification-Arbitrary Network for Super-Resolution

目录

一、创新点

二、模型结构

1.Feature Learning Module

2.Meta Upscale Module

1）位置投影Location Projection

2）权重预测Weight Prediction

3）特征映射Feature Mapping

三、实验细节

四、结果

1.不同采样因子Meta-RDN与RDN、EDSR结果对比

2.运行速度对比

3.与state-of-the-art模型性能对比

4.生成SR展示

---

---

本文出自中科院、CASIA、旷视、清华等机构。模型功能性突出，已被CVPR2019接收。

原文地址：http://arxiv.org/abs/1903.00875v1

代码地址：https://github.com/XuecaiHu/Meta-SR-Pytorch

---

一、创新点

引入元学习的思想构造Meta-Upscale Module，首次实现LR图像通过单模型进行任意尺度的上采样，通过动态预测上采样卷积参数，在应用上达成类似在图片查看器中滚动滑轮查看图片的效果。

二、模型结构

整个网络分为两个模块：Feature Learning Module和Meta Upscale Module。这里主要讲下Meta Upscale Module。

1.Feature Learning Module

Feature Learning Module其实就是RDN模型，模型细节参考这里。这里RDN如图1所示使用的3个卷积层和16个RDB(Residual Dense Block)，每个RDB包含8个卷积层，其growth rate设为64，即特征通道为64。

注意，这里使用RDN是因为它的效果最好。同样也可使用EDSR、RCAN等其他模型前端作为Feature Learning Module。

2.Meta Upscale Module

这个模块依据Meta Learning的思想，学习对应不同因子上采样的卷积核数量及权重参数。关于元学习(Meta Learning)，又称Learning to learn，具体百度，其中权重预测是Meta Learning的主要应用方向之一。

Meta Upscale Module本质是一个FC网络，能生成对应不同上采样因子SR的卷积核数量及参数，这里由FC层+ReLU层+FC层构造。由于网络输入输出维度差别较大，FC层神经节点数设置为256。

网络输入Size是3，输出Size是(将其构造成多个大小的卷积核)，共计输入输出组，即图像的每个像素点送入模型作预测。这里的输出维度满足Feature Learning Module提取的特征图数(即)、生成SR图像通道数(，