Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset（I3D）（论文笔记）

来源：CVPR2017

一句话概括：提出膨胀3D卷积（I3D）用于提取视频时空维度特征并进行动作识别； 构建Kinetics人类动作视频数据集

动作识别框架

视频模型框架分为两类：2D和3D。2D模型需要考虑信息如何在不同帧之间传播，这一过程可以通过时间维度的循环网络如LSTM或特征聚合来实现。本文比较了比较了几类视频模型框架，并提出了双流膨胀3D卷积模型。
2D模型可以用到基于图片的预训练模型（如ImageNet）而不用从头训练，3D模型则不方便实现，需要从头训练。

双流膨胀3D卷积

在这一结构下，3D卷积可以用到ImageNet 2D卷积的设计和预训练好的参数。此外，尽管3D卷积可以获取时间维度特征，但加上光流分支仍然可以提高表现（表明I3D对时间维度信息的提取不完全，后续还提出了多种方法）。
**将2D卷积膨胀为3D：**将2D的filter拓展成三维并池化卷积核，即额外增加一个时间维，filter从N X N变为N X N X N，基于短时间内的视频帧相似性原理。
**从2Dfilter自举3Dfilter：**一张图片可以通过简单重复变成一个视频（作者称为“无聊的”视频）。3D模型可以通过这样的方式隐式地在ImageNet上预训练，只需要满足条件：在：“无聊”视频上池化后的输出与原始的单张图片上的输出相同。实现方法：沿着时间维度将2Dfilter的权重重复N次，然后将结果除以N来调节大小。
**步长的增长：**在时间和空间维度的步厂不应该默认相同，而应该取决于帧率和图片维数。当步长增长在时间维度太快时会将来自不同物体的边缘合并从而破坏早期特征探测；而当时间维度步长增长相对太慢时可能又无法获取场景的变化。本文发现在前两个最大池化层上不使用时间维度池化比较好（使用1x3x3的池化核，stride为1）。其他池化层使用对称的卷积核和stride，最后一个平均池化层使用2x7x7的核。

Kinetics人类动作视频数据集

包含400种人类动作类别，每类400个以上视频片段，每个视频片段截取自相异的视频，每个片段长约10s，总共240k训练视频。测试集每类动作有100个视频片段。数据集中的人类动作有些是细粒度的，并且要求时间维度的推理来分辨，比如不同游泳姿势。有些动作强调物体识别，如演奏不同乐器。

实验结果

不同结构的比较

使用和不适用ImageNet预训练的比较

不同训练方式在不同数据集上的综合比较

与SOTA的对比

总结

文中对模型具体实现的描述不清晰（2D膨胀为3D的具体过程），不利于读者理解。对如何使用ImageNet预训练模型也没有具体描述。