BasicVSR The Search for Essential Components in Video Super-Resolution and Beyond（视频超分论文解析）

BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond（视频超分）

提出了一个新的pipeline，BasicVSR。BasicVSR和它的扩展IconVSR可以作为之后超分算法的baseline。

上表是当前VSR方法的各种组成部分。包括传播，对齐，聚合，上采样。

这篇文章的实验建议使用双向传播方案来最大化信息收集，并使用基于光流的方法来估计两个相邻帧之间的对应关系以进行特征对齐。 通过使用简单的聚合（即特征连接）和上采样（pixel-shuffle）就能达到质量和效率都很高的效果。基于BasicVSR，这篇文章还进一步提出了IconVSR，PSNR提升了0.31。

主要方法

上图是BasicVSR的概览。a)中，BasicVSR采用双向循环网络，上采样模块包含多个pixel-shuffle和卷积。红色和蓝色分别代表后向和前向传播。b)中，传播分支只包含常用模块，S，W，R分别代表流估计，空间扭曲，残差块。

---

Local vs Global Propagation

这篇论文采用双向传播，并验证了其他方式的缺点，下图说明了local propagation相较于global propagation的缺点。帧被分成分别处理的段数越多，PSNR的值越低。从而证明了长时信息对视频超分的作用。

Unidirectional vs Bidirectional

下图虚线代表BasicVSR的PSNR，将其作为基准值，实现是将BasicVSR中的传播改为单向后的PSNR，很明显在前段绝大部分帧，单向的表现要逊色于双向，仅在最后几帧稍好。因为单向传播的第一帧只能通过自身来获取信息，而后面的帧可以通过前面很长的序列来获取信息。