分享一篇视频超分辨率的论文 Revisiting Temporal Modeling for Video Super-resolution,其为BMVC 2020 论文,该文的结果目前在视频超分的几个数据集上都是排名第一,代码已开源。
作者单位:清华大学、纽约大学、华为诺亚方舟实验室
1
看点
本文提出了一种简洁而又高效的超分架构,在测试集上一帧只需45ms PSNR就可以达到27.69,具有很大的实用价值,亮点如下:
以往已经提出了许多基于深度学习的视频超分辨率(video super-resolution,VSR)方法,但是由于使用不同的损失函数或训练集,因此很难直接比较这些方法。本文统一的研究和比较了三种时域建模方法:早期融合的2D CNN、慢融合的3D CNN和RNN。
提出了一种新的残差循环网络(RRN),利用残差稳定RNN的训练,同时提高超分辨率性能,在三个基准测试集上均达到了SOTA。
2
时域融合模型
2D CNN:采用了几个改进的2D残差块,每个块由3×3卷积层和ReLU组成。模型以2T+1个连续帧为输入,首先先在通道维度串联,然后通过一批残差块,输出shape大小为H×W×Cr^2^的残差特征图,通过depth-to-space上采样四倍得到残差图像R~t~^↑^,和双三次上采样的中心帧相加,得到HR图像。
3D CNN:与2D CNN不同的是,在3D CNN中,使用3×3×3的卷积层来提取时空信息。此外,为了防止帧数减少,我们在时间轴上增加两个像素值为零的帧。
RNN:时间步骤t处的输入有三部分:(1)先前的输出o~t−1~,(2)先前隐藏状态h~t−1~(3)两个相邻帧 和 。RNN可以利用上一层的互补信息,进一步细化第t时间步的高频纹理细节。
然而,RNN中存在梯度消失的问题。为了解决这一问题,本文提出了一种新的循环网络(RRN),它的内部采用残差块(一个卷积层、一个ReLU层和另一个卷积层组成)。
这种设计保证了信息流的流畅性,并具有长时间保留文本信息的能力,使得RNN更容易处理较长的序列,同时减少了梯度消失的风险。
其中σ(·)为ReLU函数。 , 为要学习的残差图。
3
实验
实施细节RRN在时间 时,先前的估计被初始化为零。三个模型均使用L1损失函数。使用Vimeo-90k作为训练集,对数据集进行BD降质以及crop为64×64的预处理。
量化评估与消融实验作者考虑了两个网络深度不同的模型进行建模。S代表5个堆叠的模块,L则代表10个。下图可以看出不管是在运行时间、运算复杂度还是PSNR值上,RRN相比其他时域建模方法都具有显著的优势。
对是否为残差块和残差块的个数的消融实验,可以看出残差块能有效的抑制梯度消失。
与其他模型的对比,可以发现RRN都达到了STOA。
论文:https://arxiv.org/pdf/2008.05765.pdf
代码:https://github.com/junpan19/RRN
END
备注:超分辨率
超分辨率交流群
图像视频超分辨率,可见光、红外、遥感超分辨率等技术,
若已为CV君其他账号好友请直接私信。
我爱计算机视觉
微信号:aicvml
QQ群:805388940
微博知乎:@我爱计算机视觉
投稿:amos@52cv.net
网站:www.52cv.net
在看,让更多人看到