关注公众号,发现CV技术之美
✎ 编 者 言
该论文为将Swin Transformer应用于单图超分中的SwinIR的视频扩展版本,在视频复原的各领域中都有很大的提升,本文将从视频超分方向来解读VRT。
详细信息如下:
作者单位:苏黎世联邦理工大学、Meta、鲁汶大学
论文链接:https://arxiv.org/pdf/2201.12288.pdf
项目链接:https://github.com/JingyunLiang/VRT
01
看点
VSR通常需要利用多个相邻但通常不对齐的视频帧的时间信息。现有的方法通常利用滑动窗口策略或循环架构来解决这一问题,这要么受到逐帧恢复的限制,要么缺乏远程建模能力。本文提出了一种视频恢复Transformer(VRT),亮度如下:
VRT的特点是并行计算和远程依赖建模,它在多个尺度上提取、对齐和融合帧特征
本文提出了相互注意以完成帧间相