论文笔记之C3D（Learning Spatiotemporal Features with 3D Convolutional Networks）

通过构造了对称的3×3×3卷积核来利用3D卷积学习时空特征，计算效率高。
论文地址：http://vlg.cs.dartmouth.edu/c3d/c3d_video.pdf

1. 摘要

本文提出了一种简单而有效的时空特征学习方法，使用在大规模有监督视频数据集上训练的3D 卷积网络。本文的发现有三个方面：
1）与2D ConvNets相比，3D ConvNets更适合于时空特征学习；
2）一个在所有层都有3 × 3 × 3卷积核的同质结构是3D ConvNets的最佳性能结构；
3）使用3D卷积学习到的特征，使用简单的线性分类器在4个不同的基准上均优于最新的方法。
此外，它的特点是基于3D卷积的快速推理，计算效率非常高。而且在概念上非常简单，易于训练和使用。

2. 相关工作

2.1 传统行为识别

Laptev和Lindeberg通过将Harris角点检测器扩展到3D，提出了时空兴趣点（STIPs），SIFT和HOG也扩展到SIFT-3D和HOG3D用于动作识别。Dollar等人提出了用于行为识别的长方体特征。萨达南德和科尔索建立了行为识别数据库。最近，王等人提出了改进的密集轨道（iDT）这是目前最先进的手工制作特征。iDT描述符显示了时间信号可以不同于空间信号的处理方式。它不是将Harris角点检测器扩展到3D，而是从视频帧中密集采样的特征点开始，利用光流对其进行跟踪。对于每个跟踪器，沿轨迹提取不同的手工特征。尽管该