编辑:Happy
首发:AIWalker公众号
日期:2020-08-14
paper: https://arxiv.org/abs/2008.00455
code: https://github.com/junpan19/RSDN
【导语】该文时清华大学&华为诺亚方舟联合提出的一种递归视频超分方案。不同于主流的视频超分方案(基于光流对齐的视频超分、基于形变卷积对齐的视频超分),该文从递归思路出发,提出了一种SD模块用于图像的不同成分复原。所提方法在Vid4数据集取得了超越EDVR-L的性能,同时具有更少的参数量和计算量。推荐各位同学仔细研究一下。
Abstract
大多视频超分方案采用时序近邻帧辅助参考帧进行超分,这种方式会导致算法过于耗时,在处理效率方面不如递归方案。该文提出一种新颖的递归视频超分方案,它可以高效率且有效的利用前一帧信息对参考帧进行超分。它将输入划分为结构与纹理成分送入到递归单元(它由多个双流结构-纹理模块构成),此外隐状态自适应模块使得当前帧可以从隐状态中选择有用信息辅助超分,提升对于场景切换和误差累计的鲁棒性。作者通过充分实验验证了所提方案的有效性,在多个公开基准数据集均取得了SOTA性能。
Method
视频超分的目的在于:给定低分辨率视频