Meta-SR: A Magnification-Arbitrary Network for Super-Resolution

• CVPR2019
• https://github.com/XuecaiHu/Meta-SR-Pytorch

1. 问题引入

• 首个解决任意尺度超分问题的模型，借鉴了meta-learning的思想；
• weight prediction strategy(meta-learning)：神经网络的权重是由另一个神经网络预测的，而不是通过从训练数据集中学习的，原来的模型需要为每一个scale训练一组参数，现在直接用一个模型来将不同的scale的模型参数储存起来；

2. 方法

• 模型包含两个部分：Feature learning module提取LR的特征，还有一个Meta-Upscale Module来以任意尺度upscale特征图；
• Feature learning module：使用RDN；
• 有高分图像$I^{HR}$，通过降采样得到对应的低分图像$I^{LR}$，$F^{LR}$是提取到的特征，假设scale是$r$，包含三个部分，分别是Location Projection,Weight Prediction,Feature Mapping，模型的输出形状是$(inC,outC,k,k$，其中$inC$是feature vector的长度，$outC$是3表示rgb三个通道，模型由全连接层和激活层组成；
• Location Projection：对于所求高分图像上每一个像素的像素坐标$(i,j)$，寻找其在低分图像上对应的坐标$(i^{\prime },j^{\prime })=T(i,j)=(\lfloor \frac{i}{r}\rfloor ,\lfloor \frac{j}{r}\rfloor )$
• Weight Prediction：用一个网络来预测filter的权重$W(i,j)=\psi (v_{ij};\theta )$，其中$W_{ij}$是对应于SR上像素点$(i,j)$处filter的权重，$v_{ij}=(\frac{i}{r}-\lfloor \frac{i}{r}\rfloor ,\frac{j}{r}-\lfloor \frac{j}{r}\rfloor ,\frac{1}{r})$，$\theta$是模型的权重;
• feature mapping：对于每一个SR的单个像素点$(i,j)$，由Location Projection步骤得到的$(i^{\prime },j^{\prime })$取对应的feature map上面的feature vector，之后还由Weight Prediction取得相应的weight，之后获得像素值的操作是将两者进行矩阵乘；
  

3. 实验

• 数据集：DIV2K训练，评测使用Set14,B100,Manga109,DIV2K