视频超分，Transformer再下一城之VSR-Transformer

论文：https://arxiv.org/pdf/2106.06847.pdf

代码：https://github.com/caojiezhang/VSR-Transformer

编者言：ETHz(苏黎世联邦理工大学)出品，第一篇在VSR中使用的Transformer模型，方法与思想值得学习。模型与实验没有文章中大批量的数学公式那样惊艳，有数学推理癖好的读者建议直接阅读原文。

看点

Transformer应用在VSR中有两大问题： 

1. 全连接的自注意层由于依赖线性层来计算注意图而忽略了对局部信息的利用。

2. 由于词前馈层独立的处理每个输入，导致其缺乏特征对齐的能力。

为了解决第一个问题，本文提出了一个时空卷积自注意层以利用局部信息。对于第二个问题，本文设计了一个双向光流的前馈层来挖掘不同帧之间的相关性并对齐特征。本文是第一个在VSR中应用Transformer的模型。

方法

overview

本文提出的VSR-Transformer由特征提取器、Transformer编码器和重建网络组成。其中特征提取器由堆叠的残差块组成。

时空卷积自注意层

由于全连接的自注意层不能使用每个帧的空间信息，本文提出了一个新的时空卷积自注意层(STCSA)。给定特征图X，使用三个独立的CNN 来捕捉每一帧的空间信息。Q，K，V的生成通过如下公式：

其中，