TDAN: Temporally Deformable Alignment Network for Video Super-Resolution论文笔记

论文链接

一. 简介

• 由于相机或物体的运动变化，参考帧和相邻帧之间并不对齐。大多数VSR 选用光流方法来对齐。
• 基于对齐模型的方法，其性能极大依赖于光流预测的正确性，不准确的光流会导致伪影产生，这些伪影也会传播到重构的HR视频帧中。
• 作者提出的时间可变形对齐网络(TDAN)，无需计算光流，自适应地在特征层面进行对齐。
• TDAN使用参考帧和每个相邻帧的特征来动态预测采样卷积核的偏移量，用该采样核对相邻帧进行对齐操作。

二. 网络结构

整体框架

• 整体框架包括时间可变形对齐网络和超分网络两部分。
• 每个相邻帧分别和参考帧一起送入可变形对齐网络，再将得到的特征重建为对应的I${}_i^{L{R}^{\prime }}$。
• 将所有的重建的I i L R ′ _i^{LR'}