51-15 视频理解串讲—TimeSformer (Is Space-Time Attention All You Need for Video Understanding) 论文精读

今天读的论文题目是Is Space-Time Attention All You Need for Video Understanding?

Facebook AI提出了一种称为TimeSformer视频理解的新架构，这个架构完全基于transformer，不使用卷积层。它通过分别对视频的时间和空间维度应用自注意力机制，有效地捕捉动作的时空特征。自transformer提出以来，在NLP领域得到了非常广泛的使用，是机器翻译以及语言理解中最常用的方法。相比于现在的3DCNN，TimeSformer训练要快3倍，推理的时间为它的1/10。除此之外，TimeSformer可以在更长的视频片段上训练更大的模型。当前的3DCNN最多只能够处理几秒钟的片段，使用TimeSformer甚至可以在数分钟的片段上进行训练，它将为AI理解更复杂的人类行为铺好路。

那么它具体是如何实现的呢？众所周知，Transformer的训练非常消耗资源。为了缓解这一问题，TimeSformer通过两个方式来减少计算量，1）将视频拆解为不相交的图像块序列的子集。2）使用一种独特的自注意力方式来避免所有的图像块序列之间进行复杂计算。文中把这项技术叫做分开的时空注意力机制Divided Space-Time Attention。

本文由深圳季连科技有限公司AIgraphX自动驾驶大模型团队编辑。如有错误，欢迎在评论区指正。

咱们接下来阅读正文。

Abstract

我们提出了一种无卷积的视频分类方法，该方法完全基于空间和时间上的self-attention。我们的方法名为“TimeSformer”，通过直接从一系列帧