技压群雄！2021 NTIRE @CVPR 2021的三冠一亚视频超分方案：BasicVSR++

论文链接：https://arxiv.org/pdf/2104.13371.pdf

代码链接：https://github.com/open-mmlab/mmediting

注：该文作者Kelvin C.K. Chan同为BasicVSR(2021CVPR)和Understanding Deformable Alignment...(AAAI2021)的第一作者，他用对于可变形对齐和传播架构的新理解来改进BasicVSR，在2021NTIRE @ CVPR 2021挑战中一举获得三冠一亚，同时还在Vid4数据集上突破了29dB的大关。下图可以显示出该模型惊人的恢复能力，目前代码已开源。

看点

最先进的方法BasicVSR采用双向传播和特征对齐。本文重新设计了这两个组件，提出了采用二阶网格传播和流引导变形对齐的BasicVSR++。

1. 所提出的二阶网格传播允许双向传播以类似网格的方式进行，并且放宽了BasicVSR中一阶马尔可夫性质的假设，将二阶连接添加进网络中，如下图(a)所示。

2. 光流对齐中不准确的光流估计会影响恢复性能，变形对齐在实际中很难训练。本文提出了流引导可变形对齐，该模块使用光流作为基础偏移量而没有直接学习DCN偏移量，通过学习残差偏移量来减轻偏移量学习的负担，如下图(b)所示。

方法

给定输入帧，首先利用残差块从每一帧中提取特征。然后在二阶网格传播方案下传播特征，其中对齐为流引导可变形对齐。在传播后，通过卷积和pixel-shuffling利用聚集的特征生成输出图像。

二阶网格传播

本文设计了一种网格传播方案，该方案让中间特征以交替的方式在时间上前后传播，使来自不同帧的信息可以被“重访”用于特征细化。此外，本文放宽了BasicVSR中一阶Markov性质的假设，添加了二阶连接。这样可以从不同的时空位置聚集信息，提高在遮挡区域和精细区域的鲁棒性和有效性。每个二阶网格传播单元的过程如下：令 代表第输入图像， 是利用多个残差块从 中提取的特征， 是第i个时间步处的第j个传播分支计算出的特征。为了计算输出特征