简洁的架构还能高效和准确？清华&华为提出新型残差循环超分模型：RRN！

论文：Revisiting Temporal Modeling for Video Super-resolution
代码：https://github.com/junpan19/RRN

看点

本文提出了一种简洁而又高效的超分架构，在测试集上一帧只需45ms PSNR就可以达到27.69，具有很大的实用价值，亮点如下：

• 以往已经提出了许多基于深度学习的视频超分辨率（video super-resolution，VSR）方法，但是由于使用不同的损失函数或训练集，因此很难直接比较这些方法。本文统一的研究和比较了三种时域建模方法：早期融合的2D CNN、慢融合的3D CNN和RNN。
• 提出了一种新的残差循环网络（RRN），利用残差稳定RNN的训练，同时提高超分辨率性能，在三个基准测试集上均达到了SOTA。

时域融合模型

2D CNN：采用了几个改进的2D残差块，每个块由3×3卷积层和ReLU组成。模型以2T+1个连续帧为输入，首先先在通道维度串联，然后通过一批残差块，输出shape大小为H×W×Cr²的残差特征图，通过depth-to-space上采样四倍得到残差图像R_t^↑，和双三次上采样的中心帧相加，得到HR图像。

3D CNN：与2D CNN不同的是，在3D CNN中，使用3×3×3的卷积层来提取时空信息。此外，为了防止帧数减少，我们在时间轴上增加两个像素值为零的帧。

RNN：时间步骤t处的输入有三部分：（1）先前的输出o_t−1，（2）先前隐藏状态h_t−1（3）两个相邻帧$I_{t-1}$和$I_t$。RNN可以利用上一层的互补信息，进一步细化第t时间步的高频纹理细节。然而，RNN中存在梯度消失的问题。为了解决这一问题，本文提出了一种新的循环网络（RRN），它的内部采用残差块（一个卷积层、一个ReLU层和另一个卷积层组成）。这种设计保证了信息流的流畅性，并具有长时间保留文本信息的能力，使得RNN更容易处理较长的序列，同时减少了梯度消失的风险。
其中σ（·）为ReLU函数。$g({\hat{x}}_{k-1})={\hat{x}}_{k-1}$，$F({\hat{x}}_{k-1})$为要学习的残差图。

实验

实施细节
RRN在时间$t_0$时，先前的估计被初始化为零。三个模型均使用L1损失函数。使用Vimeo-90k作为训练集，对数据集进行BD降质以及crop为64×64的预处理。
量化评估与消融实验
作者考虑了两个网络深度不同的模型进行建模。S代表5个堆叠的模块，L则代表10个。下图可以看出不管是在运行时间、运算复杂度还是PSNR值上，RRN相比其他时域建模方法都具有显著的优势。

对是否为残差块和残差块的个数的消融实验，可以看出残差块能有效的抑制梯度消失。

与其他模型的对比，可以发现RRN都达到了STOA。