【ViViT】ViViT: A Video Vision Transformer 笔记

ViViT

摘要：

• 提出时空的token
• 将输入分解以变得高效
• 在小规模数据集上有效训练方法

引言：

vit 之前只用于大规模，因为缺少一些bias

- 文章提出了几个model用于视频分类，pure-transformer
- 如何有效地训练模型

结论：

• 提出了视频分类4个模型，
• 如何在小数据集上高效管理训练大容量模型
• 未来可以减除对图像预训练模型的依靠

ViViT模型：

两种embedding video clip方法：

• 

-

构造的结构：

• Spatio-temporal attention 复杂度随着视频增长

• Factorised encoder spatial encoder只在相同时间帧上interaction 并加上了cls

• Factorised self-attention 将第一种结构的self-attention拆成先spatial再temporal

• Factorised dot-product attention temporal和spatial用不同的头并行计算，然后concat拼接

通过预训练模型初始化：

• position embedding 视频模型所需的token是图片模型的几倍，采用”循环“的方式初始化
• Embedding weights 采用展平的方式使得3d能够采用2d

​ 或者采用“central frame initialisation”：