Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset（I3D）（论文笔记）

来源：CVPR2017

一句话概括：提出膨胀3D卷积（I3D）用于提取视频时空维度特征并进行动作识别； 构建Kinetics人类动作视频数据集

动作识别框架

视频模型框架分为两类：2D和3D。2D模型需要考虑信息如何在不同帧之间传播，这一过程可以通过时间维度的循环网络如LSTM或特征聚合来实现。本文比较了比较了几类视频模型框架，并提出了双流膨胀3D卷积模型。
2D模型可以用到基于图片的预训练模型（如ImageNet）而不用从头训练，3D模型则不方便实现，需要从头训练。

双流膨胀3D卷积

在这一结构下，3D卷积可以用到ImageNet 2D卷积的设计和预训练好的参数。此外，尽管3D卷积可以获取时间维度特征，但加上光流分支仍然可以提高表现（表明I3D对时间维度信息的提取不完全，后续还提出了多种方法）。
**将2D卷积膨胀为3D：**将2D的filter拓展成三维并池化卷积核，即额外增加一个时间维，filter从N X N变为N X N X N，基于短时间内的视频帧相似性原理。
**从2Dfilter自举3Dfilter：**一张图片可以通过简单重复变成一个视频（作者称为“无聊的”视频）。3D模型可以通过这样的方式隐式地在ImageNet上预训练，只需要满足条件：在：“无聊”视频上池化后的输出与原始的单张图片上的输出相同。实现方法：