【论文阅读】Frame-Recurrent Video Super-Resolution (FRVSR2018超分)

【论文阅读】Frame-Recurrent Video Super-Resolution (FRVSR)

今天要整理一篇最近阅读的文章，这篇文章是2018年Mehdi S.M. Sajjadi发表在CVPR的一篇有关视频超分辨率的文章。目前作者并没有公开源码，但是我在GitHub上看到有其他大牛复现了论文源码，我暂时还没跑这篇文章的代码，不过后面会整理我所跑过的论文代码。

Abstract

摘要中，作者首先说明了目前比较前沿的视频超分辨率方法是使用CNN和运动补偿结合的。一些优秀的方法都是采用处理一个batch的LR来生成一个HR，这样做的缺点有两个：1）每个低分辨率帧会被处理多次，增加了计算量；2）每个输出帧仅根据输入帧独立估计，限制了系统生成时间连贯性的结果的能力。故，作者提出了一个端到端训练的视频超分辨率帧循环网络框架（FRVSR） ，它是使用前面生成的HR结果来估计下一帧的输出，这有助于促进输出结果的时间连贯性，同时也减少了计算量。

Introduction

主要讲述了超分辨率问题及其应用，归类了几种方法，此处略过…(太懒了，不想全部翻译一遍）下面直接说重点！！！在本文提出的FRVSR网络，有以下两点好处：1）每个输入帧只被处理一次；2）前一帧的信息通过生成的HR估计来促进下一帧的输出。
文章的贡献：

• 提出了一个循环框架，使用前一帧估计的HR生成下一帧的输出，有利于促进时间上一致；
• 提出的框架可以在更大的时间范围内传播信息，并不增加计算；
• 文章进行了大量的实验，分析了不同网络设计的性能。

FRVSR Framework

FRVSR网络结构如下图，一共有五部分构成：光流估计FNet、上采样光流Upscaling、warp前帧、映射到低维空间Map和超分辨率重建SR。

1.FNet光流估计网络

整个网络的第一步是光流估计，主要是估计低分辨率输入$I_{t-1}^{LR}$和$I_t^{LR}$之间的光流特征图，输出经过正则化处理的，第一部分用公式表达如下：
$$F^{LR}=FNet(I_{t-1}^{LR},I_t^{LR})\in [-1,1{]}^{H\times W\times 2}$$
FNet网络，输入的是$I_{t-1}^{LR}$和$I_t^{LR}$concate之后的6通道图像（假设图像是三通道的情况下），然后经过6个组件，通道数从32增加到256，再减回64，最后还有三层，卷积数为32的层，leaky relu激活层和卷积数为2的层，最终得到输入图像的光流 F L R F^{LR} F