论文 Meta-SR: A Magnification-Arbitrary Network for Super-Resolution阅读笔记

Meta-SR: A Magnifification-Arbitrary Network for Super-Resolution
是CVPR2019的论文，由中科院、CASIA、旷视、清华等联合发表。
论文地址：http://arxiv.org/abs/1903.00875v1
pytorch代码地址：https://github.com/XuecaiHu/Meta-SR-Pytorch

一 ：论文要解决的问题

            之前随着DCNN(deep convolution neural network)的发展，SR(super-resolution)也取得很大的进步。但是如果把图像放大任意比例一直都被忽视。之前的问题把图像放大不同比例做为不同独立的任务，为每一个比例设计一个特定的放大模型，并且只能放大整数倍数。这篇论文就是要实现用一个模型可以放大任意比例(包括非整数)。因为在实际场景是很常用的。比如你用鼠标滑动放大查看图片。

二：论文的整体架构

            论文中的方法叫做Meta-SR，该方法有两个模块，the Feature Learning Module 和 the Meta Upscale Module。
the Feature Learning Module 是用于在LR image(低分辨率图像)上提取特征，特征提取后通道数可能变多，但是特征图的长宽与LR image相同。the Meta Upscale Module用于动态为HR image上的每一个点预测权重，主要运用到元学习(不是通过大量的数据来预测权重，而是让机器总结学习到如何去预测权重，就是学习到学习的方法，而不是物体的规律，元学习可用于少样本学习，和迁移学习)。整体架构图如下：

三：the Feature Learning Module

          结构图如下：
    有3个卷积层和16个residual dense blocks(RDB)，RDB的结构图如下：

其中ResNet（残差网络），把上一个输出值加到了下一个输出输出值上，这样可以在增加网络深度的时候，防止vanishing gradient (梯度弥散)。
下面讲一下Densenet（密集网络）的结构图：

每个Dense Block中的特征图的大小是相同的，每一个输出都合上前面每一个输出公式为

      上面的H()代表是非线性转化函数（non-liear transformation），它是一个组合操作，其可能包括一系列的BN(Batch Normalization)，ReLU，Pooling及Conv操作。它们是在channel维度上连接在一起的。内部结构图：

      DenseBlock内部可以采用bottleneck层来减少计算量，主要是原有的结构中增加1x1 Conv。即BN+ReLU+1x1 Conv+BN+ReLU+3x3 Conv，称为DenseNet-B结构。其中1x1 Conv它起到的作用是降低特征数量，从而提升计算效率。如图：

      所有DenseBlock中各个层卷积之后均输出K 个特征图，即得到的特征图的channel数为 K，或者说采用 K个卷积核。 K在DenseNet称为growth rate，这是一个超参数。论文中设置的K为64。再合ResNet结合。好这就是 the Feature Learning Module。

四： the Meta Upscale Module

      the Meta Upscale Module分为3块，the Location Projection, the Weight Prediction and the Feature Mapping。讲之前先明白几个变量
I^LR LR image(低分辨率图像)
I^HR 原高分辨率图像
I^SR 模型的产生的高分辨率图像
I^SR的 ground-truth （这个词表示正确分类的标签）是 I^HR
F^LR 表示低分辨率上的特征图（the Feature Learning Module所产生的）

4.1： the Location Projectiong

(i,j)表示高分辨上的某像素点，(i^’,j^’)表示对应低分辨率上的对应点,他们的关系用r(缩放比例来确定)，公式如上图。
      论文中举一个例子，放大2倍和1.5倍。低分辨率上有一些点是决定高分辨率上的1个点，有些低分辨率上的点是决定高分辨率上的2个点。如图：

4.2： Weight Prediction

权重计算如下图：

      W(i,j)代表高分辨率图上每一个像素点的权重，v_ij表示权重预测网络的输入，θ表示的是网络预测的参数。流程如下图：

      输入为HW*3（3表示的是3个颜色通道，当为灰度图时颜色通道为1），然后经过一个全连接和一个ReLU激活函数，然后再经过一个FC(论文中用的隐藏神经元数为256)。每一个点输入都会产生形状为 inC*outC*k*k，inC等于F^LR的channel数，outC等于的是高分辨率的通道数，k表示的是卷积核的大小论文中K等于3)。

4.3： Feature Mapping

公式为：

这里用对应的F^LR和W(i,j)进行矩阵相乘。（这里我也有疑惑就是如果3*3和3*3的矩阵相乘以后就是也是3*3的矩阵，但是这里得到的是一个点。网上说是矩阵间相乘，元素间卷积，这可能还是要把代码慢慢看懂才能够完全理解这一部分）。

5： Experiments

      用六个自己设计的baseline，用bicubic interpolation生成LR图像。放大的比例从1到4，变化步长为0.1。

5.1： 数据和评估标准：

      数据用的是 DIV2K，800张训练集，100张验证集，100张测试集。因为测试集中的ground truth为公开，所有论文用的validation set上的结果。
     用L1做为损失函数。用PSNR(Peak Signal-to-Noise Ratio) and SSIM(structural similarity index)做为评估。
      PSNR(峰值信噪比)公式如下:


其中，MAXI是表示图像点颜色的最大数值，如果每个采样点用 8 位表示，那么就是 255。所以MSE越小，则PSNR越大；所以PSNR越大，代表着图像质量越好。
PSNR高于40dB说明图像质量极好（即非常接近原始图像），
在30—40dB通常表示图像质量是好的（即失真可以察觉但可以接受），
在20—30dB说明图像质量差；PSNR低于20dB图像不可接受。
     SSIM 公式基于样本x和y之间的三个比较衡量：亮度 (luminance):l(x,y)、对比度 (contrast) :c(x,y)和结构 (structure): s(x,y)


论文中把图片转化为YCbCr，在Y(亮度)上做SSIM。

5.2： 设计六个baseline：

因为没有任意放大的工作所以设计了6个baseline来进行对比。
bicubic：直接用bicubic interpolation放大图片
RDN(x1)，EDSR(x1)：将LR先放大r倍，再放入RDN和EDSR网络中产生SR
RDN(x2)，EDSR(x2)：将LR输入网络，产生HR，再将HR缩小为r/k倍，再放入RDN和EDSR网络K次中产生SR 。如果r>k,先将LR放大再输入网络，产生HR，再将HR缩小为r/k倍，再放入RDN和EDSR网络K次中产生SR（k=2）
RDN(x4)，EDSR(x4)：原理同RDN(x2)相同，只是k=4。就是说x4代表k的大小。
BicuConv ：对the final feature maps用interpolation。最后的the upscale module（放大模块）对任何放大比例用同一个卷积层。
Meta-Bicu：也对the final feature maps用interpolation，但是为每一个比例预测一个权重。
实验结果图（一部分）：

5.3： 耗时：

FL(生成特征图的时间)，WP(预测权重的时间)，Upscale(放大模块所用时间)。
虽然单个的放大时间，该方法不占优势，但是放大8 和16这个方法就要快很多(论文中无该实验对比)，另外当要放大任意比例的时候就会比其他快很多。因为其他的需要run各个比例模型。
还要其他两个对比实验，也表示了该方法的优越性。
好这就是这篇论文全部内容了。在B站上也以视频方式讲解了该论文账号昵称同博客昵称。希望能够帮助大家，一起成长。喜欢就点一个赞吧，笔芯。