最新（2019-2020）视频超分辨率方法调研

1、【CVPR 2020】TDAN: Temporally-Deformable Alignment Network for Video Super-Resolution

链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Tian_TDAN_Temporally-Deformable_Alignment_Network_for_Video_Super-Resolution_CVPR_2020_paper.pdf

代码：https://github.com/YapengTian/TDAN-VSR-CVPR-2020 - Pytorch

流程：

细节：①一阶段（One-stage）的视频超分辨率 - 这里的一阶段指不同于以往基于光流法的方法，该方法无需预先计算光流，一方面大大减少了模型计算量，另一方面减少了由于可能存在的光溜误差而造成的超分辨率效果降低。

          ②时域对齐 - 针对待预测时次 t 的视频帧，选取最近邻 2N 帧，并通过对齐网络与 t 时次视频帧对齐，在对齐网络中，用到了可变形卷积Deformable Convolution，文中和代码中描述的非常具体。

          ③高分辨率重构 - 对齐后的视频帧通过特征提取以及Upsample恢复为高分辨率视频帧。

思考：对该方法最大的疑惑在第二点时域对齐，文章中将 t 时刻视频帧作为视频帧对齐的标签，那么在理想的情况下，邻域 2N 帧对齐后的输出即为 t 时刻视频帧。而文中描述对齐后的视频帧和 t 时刻视频帧通过concat拼接后，直接通过特征提取以及Upsample恢复为高分辨率帧，那么是否意味着，其效果相当于将 t 时刻视频帧复制 2N+1 份送至重构网络也可恢复除类似的高分辨率视频帧。

---

2、【CVPR 2020】Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution

链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Xiang_Zooming_Slow-Mo_Fast_and_Accurate_One-Stage_Space-Time_Video_Super-Resolution_CVPR_2020_paper.pdf

代码：https://github.com/Mukosame/Zooming-Slow-Mo-CVPR-2020 - Pytorch

流程：

细节：①不同于上述文章[1]，文章[1]更纯粹的讨论视频逐帧的超分辨率问题，文章[2]是时空意义上的视频超分辨率，即除对视频逐帧的超分辨外，还强调视频帧时域的超分辨，也即是传统意义上的视频帧插值（Video Frame Interpolation）。对此问题，主流方法基于视频帧时域插值+视频帧超分辨率的二阶段模式，该方法不同，将二者统一在一个框架下，其优势与文章[1]将光流+超分辨统一在一个框架下的意义类似。

           ②

---