Video Transformer Network

目录

摘要

Abstract

VTN

背景

模型框架

视频特征提取

时空位置编码

Transformer编码器

任务特定头

关键创新

实验

代码

总结

---

摘要

Video Transformer Network 是基于Transformer架构改进的视频理解模型，旨在解决传统3D卷积神经网络在长距离依赖建模和计算效率方面的不足。通过引入自注意力机制，VTN能够有效捕捉视频序列中的全局时空依赖关系，同时显著提升计算效率。该模型采用视频特征提取、时空位置编码、Transformer编码器和任务特定头的框架，在视频分类、动作识别等任务上取得了SOTA的性能，成为视频理解领域的重要进展。

Abstract

The Video Transformer Network is an improved video understanding model based on the Transformer architecture, designed to address the limitations of traditional 3D convolutional neural networks in modeling long-range dependencies and computational efficiency. By incorporating the self-attention mechanism, VTN effectively captures global spatiotemporal dependencies in video sequences while significantly enhancing computational efficiency. The model employs a framework consisting of video feature extraction, spatiotemporal positional encoding, Transformer encoders, and task-specific heads, achieving state-of-the-art performance in tasks such as video classification and action recognition, marking a significant advancement in the field of video understanding.

VTN

论文链接：[2102.00719] Video Transformer Network

项目地址：SlowFast/projects/vtn/README.md at master · bomri/SlowFast · GitHub

背景

传统视频理解模型依赖于卷积操作来提取时空特征，但存在以下问题：

• 长距离依赖建模困难：3D卷积核的局部感受野限制了模型捕捉视频中远距离时空关系的能力；
• 计算效率低：3D卷积操作计算复杂度高，难以处理长视频序列；
• 缺乏全局上下文信息：卷积操作难以建模视频中全局的时空依赖关系。

VTN通过引入Transformer架构，利用其自注意力机制解决了上述问题，能够高效地建模视频中的全局时空依赖关系。

模型框架

视频特征提取

视频特征提取是VTN的第一步，目的是将原始视频数据转换为适合Transformer处理的特征表示。

(1) 输入预处理

输入视频被分割为多个片段。例如，一段视频可以被均匀采样为 T 个片段，每个片段包含若干帧（frame），每个片段被送入预训练的CNN中提取视觉特征。

假设有一个视频数据集，每个视频被分割为 16 帧，每帧是 224x224 的 RGB 图像，使用批大小为 4 进行训练。

• 输入形状：(batch_size, seq_len, C, H, W) = (4, 16, 3, 224, 224)。

(2) 特征提取

2D CNN：如果使用2D CNN，模型会逐帧提取空间特征，然后将这些特征在时间维度上堆叠，形成时空特征。

3D CNN：如果使用3D CNN，模型直接提取时空特征，同时捕捉空间和时间信息。

提取的特征通常是一个三维张量，形状为 T×H×W×C ，其中：

• T 是时间维度，即片段或帧的数量
• H×W 是空间维度，即特征图的高度和宽度
• C 是通道数，即特