Detail-revealing Deep Video Super-resolution 论文笔记

视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记

---

简介

• 视频超分辨关注的主要问题有两个：一是如何充分利用多帧关联信息，而是如何有效地融合图像细节到高分辨率图像中。
• 动作补偿方面，深度学习方法用的是backward warping到参考帧，但这个方法其实并不是最优的。多帧融合方面，虽然很多CNN方法可以产生丰富的细节，但不能确定图像细节是来自内部的帧，还是外部的数据。在可缩放性方面，现有的方法对多尺度超分辨都不太灵活，包括ESPCN、VSRnet、VESPCN。
• 基于现状，作者提出一个sub-pixel motion compensation（SPMC）层，用来有效处理动作补偿和特征图缩放。另外，用一个基于LSTM的框架来处理多帧输入。

方法

• 作者提出的框架如图2所示。这个网络主要分成三个部分：motion estimation, motion compensation和detail fusion。

Motion Estimation

• motion estimation已经相对比较成熟了，方法有Flownet-S和VESPCN中的motion compensation transformer（MCT）。最后作者计划使用MCT。
  

Motion Compensation

• motion compensation用的就是SPMC层。首先记LR、HR图像分别为$J^L$和