ETH联合Meta和鲁汶大学 提出视频恢复算法VRT，在视频超分辨率、去模糊和去噪性能达到SOTA...

关注公众号，发现CV技术之美

✎ 编 者 言 

该论文为将Swin Transformer应用于单图超分中的SwinIR的视频扩展版本，在视频复原的各领域中都有很大的提升，本文将从视频超分方向来解读VRT。

详细信息如下：

• 作者单位：苏黎世联邦理工大学、Meta、鲁汶大学
  

• 论文链接：https://arxiv.org/pdf/2201.12288.pdf

• 项目链接：https://github.com/JingyunLiang/VRT

      01      

看点

VSR通常需要利用多个相邻但通常不对齐的视频帧的时间信息。现有的方法通常利用滑动窗口策略或循环架构来解决这一问题，这要么受到逐帧恢复的限制，要么缺乏远程建模能力。本文提出了一种视频恢复Transformer（VRT），亮度如下：

1. VRT的特点是并行计算和远程依赖建模，它在多个尺度上提取、对齐和融合帧特征

2. 本文提出了相互注意以完成帧间相