【视频超分】《Frame and Feature-Context Video Super-Resolution》Fudan University 2019

摘要：对于视频超分任务，当前的SOTA方法要么通过处理一个滑动窗口中的低分辨率（LR）视频帧产生高分辨率(HR)视频帧，要么递归地利用之前输出的HR视频帧超分子序列帧。这些方法的主要缺点是：（1）虽然独立产生每一个视频帧可能获得高质量的HR视频帧，但是它会产生不满意的闪烁结果。（2）虽然递归利用之前的评估HR视频帧在短时间段的信息流中获得时间连续性较好的结果，但是它会产生明显的晃动和锯齿状异常。在这篇文章中，我们提出一种端到端训练的帧和特征上下文视频超分网络，该网络包含两个关键子网络：局部网络（local network）和特征上下文网络（feature-context network）。前者利用一系列的LR视频帧产生局部特征和局部超分辨率（SR）帧。后者利用局部网络的输出和之前的评估HR帧以及特征，超分子序列帧。我们的方法充分利用了多帧LR帧的帧间信息和之前的评估HR帧的上下文信息，在产生时间连续的高质量结果的同时保持实时的速度（通过直接利用之前的特征和评估帧）。

 

主要贡献点

1. 所提局部网络能够有效利用多帧LR帧的帧间信息，产生高质量的超分辨率帧（局部SR帧）和参考特征（局部特征）。这些局部特征为特征上下文网络提供了高质量的数据。

2. 通过利用之前评估（HR）帧的上下文信息和特征以及局部网络的输出，我们的网络框架自然引导视频超分网络产生时间一致性较好的结果和学习输出SR帧之间的对齐。

3.得益于递归利用之前的评估帧和特征以及没有显示地运动补偿模块，我们的方法不需要很高的计算代价。

综合性能如下，我们的方法PSNR比SOTA的DUF和FRVSR方法高0.5dB左右，并且速度比它们更快，比DUF快20ms左右。

一、方法

主网络结构图如下

其中为局部网络（local network），为上下文网络。产生局部超分辨率帧和局部特征。输出超分结果和附加特征。

特别地，在实际训练过程中，特征更新使用抑制更新算法（Suppression Update Algorithm）。如下图所示

每隔T=50个时间步， 使用, 。该策略的主要作用是解决递归方案中的误差累积效应。

1.1 局部网络

1.2 上下文网络

其中 

1.3 损失函数 

 

二、实验结果，与SOTA比较。注：本文实验的LR图像由BI(bilinear interpolation) 4倍下采样获得。