TimeSFormer

论文名称：Is Space-Time Attention All You Need for Video Understanding?
开源地址
发表时间：ICML2021
作者及组织：Gedas Bertasius , Heng Wang , Lorenzo Torresani，来自Facebook。

前言

 因为视频类似NLP，每帧可视为word，而整个视频序列可视为一个句子。因此本文借助VIT用于解决视频分类任务。

1、方法

1.1.输入

  以上图为例，假设输入 $X\in {\mathbb{R}}^{H\ast W\ast 3\ast F}$ ，首先将每帧patch化：转化成 $N=(HW/P^2)$ 个 $P^2$ 大小的 token，每个token表示为 $x_{(p,t)}\in {\mathbb{R}}^{3P^2}$ 其中 $p$ 和 $t$ 分别表示“第 $t$ 帧中的第 $p$ 个token”，最终一个视频序列转化出来 $(NF+1)$ 个token，其中额外多出的一个token即VIT中的 $cls\_token$ 。
 然后将每个token经过一个嵌入矩阵，并加上一个可学习的位置编码：

$$\begin{array}{c}{z}_{p,t}^{(0)}=E{x}_{(p,t)}+e_{(p,t)}^{pos}\end{array}$$

 其中上标0可视为第0个Block。

1.2.Block

 首先将输入 $z_{p,t}^{(l-1)} $ 经过多头自注意力模块，其中 $q,k,v$ 的计算方式为：

$$\begin{gathered} \begin{array}{c}{q}_{p,t}^{(l,a)}=W_Q^{(l,a)}LN(z_{p,t}^{(l-1)})\in {\mathbb{R}}^{D_h} \\ {k}_{p,t}^{(l,a)}=W_K^{(l,a)}LN(z_{p,t}^{(l-1)})\in {\mathbb{R}}^{D_h} \\ {v}_{p,t}^{(l,a)}=W_V^{(l,a)}LN(z_{p,t}^{(l-1)})\in {\mathbb{R}}^{D_h}\end{array} \end{gathered}$$

 其中， $l,a$ 分别表示第 $L$ 个Block和第 $a$ 个Head Attn。

 之后自注意力的相似性矩阵：

α p , t ( l , a ) = S M ( q ( p , t ) ( l , a ) T ( D h ) . [ k ( 0 , 0 ) ( l , a ) { k p ′ , t ′ ( l , a ) } p ′ = 1 , . . . , N t ′ = 1 , . . . , F ] ) \begin{equation} \alpha_{p,t}^{(l,a)} = SM\left(\frac{q_{(p,t)}^{(l,a)^T}}{\sqrt{(D_h)}}.\left[k_{(0,0)}^{(l,a)} \{k_{p',t'}^{(l,a)}\}_{p'=1,...,N\\t'=1,...,F} \right]\right ) \tag{1} \end{equation} αp,t(l,a)​=SM ​(Dh​) ​q(p,t)(l,a)T​​.[k(0,0)(l,a)​{kp′,t′(l,a)​}p′=1,...,Nt′=1,...,F​] ​​(1)​

 其中 $p^{\prime }和t^{\prime }$ 表示空间维度和时间维度的自注意力。

 当然，本文在公式1的基础上拓展出两个自注意力模块：分别是“space sa” 和 “time sa”。具体公式来说比较简单：固定住公式1中右下角下标即可：

α p , t ( l , a ) = S M ( q ( p , t ) ( l , a ) T ( D h ) . [ k ( 0 , 0 ) ( l , a ) { k p ′ , t ′ ( l , a ) } p ′ = 1 , . . . , N ] ) \begin{equation} \alpha_{p,t}^{(l,a)} = SM\left(\frac{q_{(p,t)}^{(l,a)^T}}{\sqrt{(D_h)}}.\left[k_{(0,0)}^{(l,a)} \{k_{p',t'}^{(l,a)}\}_{p'=1,...,N} \right]\right ) \tag{2} \end{equation} αp,t(l,a)​=SM ​(Dh​) ​q(p,t)(l,a)T​​.[k(0,0)(l,a)​{kp′,t′(l,a)​}p′=1,...,N​] ​​(2)​

α p , t ( l , a ) = S M ( q ( p , t ) ( l , a ) T ( D h ) . [ k ( 0 , 0 ) ( l , a ) { k p ′ , t ′ ( l , a ) } t ′ = 1 , . . . , F ] ) \begin{equation} \alpha_{p,t}^{(l,a)} = SM\left(\frac{q_{(p,t)}^{(l,a)^T}}{\sqrt{(D_h)}}.\left[k_{(0,0)}^{(l,a)} \{k_{p',t'}^{(l,a)}\}_{t'=1,...,F} \right]\right ) \tag{3} \end{equation} αp,t(l,a)​=SM ​(Dh​) ​q(p,t)(l,a)T​​.[k(0,0)(l,a)​{kp′,t′(l,a)​}t′=1,...,F​] ​​(3)​

 之后跟常规的SA模块就一致了，在此就不贴了。

1.3. SA 模块变体

 为了降低运算复杂度，本文在公式1-3的基础上提出了五个SA的变体：

 其中 $S$ 表示Space Attn； $T$ 表示Time Attn； $L和G$ 分别表示局部和全局注意力， $T+W+H$ 则表示三个轴（水平垂直和时序）方向上的Attn。

 本文可视化上述五种自注意力的热图：

 其中蓝色patch表示计算SA的块；粉色表示自注意力计算的范围；以及其余对应字母颜色所包含的计算范围。

2、实验

  训练阶段： $ clips = 8×224×224 $ ，帧采样率为 1/32 ； 推理阶段：在视频中间切了个片段，然后3个空间尺度上crop推理三次取平均得分。

 在K400上取得Sota。

 另外，第三种SA模块精度最高，另外，相较于第二种Attn，第三种Attn的复杂度随着分辨率及输入序列长度不太会爆显存。