Meta-SR论文阅读: A Magnification-Arbitrary Network for Super-Resolution

1. Introduction

  单一图像超分辨率（single image super-resolution/SISR）旨在把一张较低分辨率（low-resolution/LR）的图像重建为一张自然而逼真的高分辨率（high-resolution/HR）图像。
  实际生活中，用户使用 SISR 技术把一张 LR 图像放大为自定义的大小也是一种需求。正如借助于图像浏览器，用户拖动鼠标可任意缩放一张图像，以查看特定细节。
  大多数现有 SISR 方法只考虑一些特定的整数因子（X2, X3, X4），鲜有工作讨论任意缩放因子的问题。一些 SOTA 方法，比如 ESPCNN、EDSR、RDN、RCAN，是借助子像素卷积在网络的最后放大feature map ；但是这些方法只能设计针对每个scale factor设计一个特定的上采样模块，并且这个上采样模块通常只对正整数的scale factors有效。这些缺点限制了SISR在现实中的使用。
  在论文中，受mera-learning的启发，旷世研究院提出一个动态预测每一缩放因子的滤波器权重的新网络，不需为每个scale factor存储权重，取而代之，存储小的权重预测网络更为方便。模型的权重了。

3. Approach

  在 Meta-SR 中，特征学习模块提取低分辨率图像的特征，Meta-Upscale 按照任意缩放因子放大特征图。

3.1 Meta-Upscale Formulation

  假设F^LR是在feature learning module提取得到的特征，可以认为SR图像的每个像素(i,j)是由LR图像上的特征和对应滤波器(卷积核)的权重决定的。由这个观点出发，Upscale module可以看作是从F^LR到ISR的映射函数。首先，上采样模块需要将(i,j)和(i’, j’)匹配。其次，上采样模块需要一个特定的滤波器来映射(i’ , j’)的特征和(i,j)的值

   I^SR(i, j)表示SR在(i, j)的像素值。∅ (.)表示用来计算像素值的特征映射函数。
SR中的每个像素对应一个滤波器，所以对于不同的scale factors,滤波器的数量和权重都是彼此不同的。为了解决超分辨率单模型任意输入scale factor的问题，作者提出了Meta-Upscale模块来基于scale factor和坐标信息动态预测权重W(i, j).

  对于Meta-Upscale 模块，有三个重要的函数：the Location Projection, the Weight Prediction and the Feature Mapping，即位置投影，权重预测和特征映射。位置投影是投影LR中的像素，权重预测模块是预测对应SR每个像素的滤波器的权重，特征映射模块是将LR中的特征加上预测的权重映射回SR图像来计算像素值。

3.1.1 Location Projection

  对于 SR 图像上的每个像素 (i, j) ，Location Projection 的作用是找到与像素 (i, j) 对应的 LR 图像上的像素 (i′, j′)。本文认为，像素 (i, j) 的值是由LR像素 (i′, j′) 的特征所决定。下面的投影算子可映射这两个像素：

  T是转换函数。Location Projection 本质上是一种variable fractional stride 机制，这一机制使得基于卷积可以使用任意缩放因子（而不仅限于整数缩放因子）来放大特征图。
  如图2所示，如果scale factor r是2,那么每个像素(i‘,j )决定两个点。可是，如果scale factor不是整数,比如r = 0.5,那么一些像素决定两个像素，一些像素决定一个像素。
  对于SR中的每个像素(i, j).我们都能在LR上找到一个独特的像素(i’ , j’),我们认为这两个像素是最有关联的。
  实际就是一个向下取整，通过每个目标SR像素坐标找到其在LR上的投影位置，一维图示如下：

3.1.2 Weight Prediction

  传统的放大模块会为每个缩放因子预定义相应数量的滤波器，并从训练集中学习 W。不同于传统放大模块，Meta-Upscale 借助单一网络为任意缩放因子预测相应数量滤波器的权重，这可表示为：

3.1.3 Feature Mapping

  Location Projection 和 Weight Prediction 之后要做的就是把特征映射到 SR 图像上的像素值。本文选择矩阵乘积作为特征映射函数，表示如下：

  核心：对于重建图（SR）中的每一点像素值 认为是由对应低分辨率特征图(FLR)上的相应像素位置的特征与一组卷积滤波器权重共同决定
  Location Projection: 寻找对应的决定像素点, SR中（i,j）除以缩放因子r,floor取整, 得到FLR中的位置（i’,j’）
  Weight Prediction: 输入大小为 HWx3, 行向量由每个位置的取整偏差和缩放因子的倒数组成.以便同时训练多个缩放因子
输出为 HWx(inCoutCkk),可理解为每个像素点对应一组权重
Feature Mapping: 输入为 FLR 大小 inCinHinW 权重大小：HW(inC * outC * k * k)
两者按照像素位置对应相乘得到输出
输出为 SR 大小为：outC * H * W
  关于相乘的理解：对于SR中的每个像素点 按照 Location Projection的方式在FLR找到对应像素点, 该像素点为中心的对应K*k的区域（大小为inC * k * k）与权重inC * outC * k * k 以卷积的方式（相乘求和）得到该像素点的值）

4 实验

训练集：DIV2K for training
测试集：Set14，B100，Manga109，DIV2K for testing
评价方法：PSNR，SSIM
训练过程：双三下采样；旋转数据增强；目标函数采用L1损失以确保更好的收敛；batch size 16，input size 50*50；ADAM；训练的scale factors以0.1的步长从1到4训练，均匀分布。batch里面的每个图都是一样的scale factor。Meta-SR是从头开始训练的，没有预训练。采用4个并行GPU P40训练。

通过实验计算了 Meta-SR 的每一模块及 baselines 的运行时间，如表 2 所示。

FL 表示 Feature Learning 模块，WP 表示 Meta-SR 的 Weight Prediction 模块，Upscale 是 Upscale 模块。测试是跑在 B100 上，测试的缩放因子是 2。

RDN 为每个缩放因子（X2, X3, X4）分别训练了一个特定的模型。本文按照 PSNR、SSIM 指标将 Meta-RDN 与 RDN 在 4 个数据库上作了对比，结果如表 3 所示：

将任意尺度因子的超分辨率与RDN(x1)、RDN(x2)和RDN(x4)进行比较。Meta-SR在结构部分具有更好的性能。由于RDN(x1)、RDN(x2)和RDN(x4)对所有尺度因子的滤波器权值相同，这些基线方法生成的SR图像纹理比Meta-RDN差。由于权重的预测，Meta-SR可以为每个尺度因子预测一组独立的权重。

PPT