论文笔记C3D：Learning Spatiotemporal Features with 3D Convolutional Networks

思考

对视频进行描述，其描述子必须：

1.具有普遍性以适应各种场景；

2.必须短小紧凑

3.必须利于计算

4.必须易于实现

图像识别中，特征提取的很完备和优秀，但不适用于视频。本文致力于利用3D CNN提取时空特征。我们只用线性分类器来分类它们，以验证特征好坏。并且这些特征可以被拿来做各种视频分析任务，无需针对任务再调整模型（就笔者知道的，包括video caption, temporal action detection等任务都有许多人使用C3D来提取特征）。

本文的发现

1.用实验验证了3D卷积深度模型很适合同时提取外貌和时空特征；

2.发现3×3×3的卷积核表现最好

3.在4个任务，6个不同的benchmark上，仅仅用我们提取的特征加上线性分类器已经超过或接近当今最好模型了。

我们的方法输入的就是完整的帧，无需依赖于任何预处理。当然，有些部分和AK那篇和双流那篇有些相似。AK那篇除了Slow Fusion都是2D卷积，而本文将在卷积和池化层都使用3D操作。并且还将展示，建立更深的网络以及在时间空间上逐步池化能保证取得最好的效果。

3D卷积网络

接下来的一节，我们介绍基础的3D卷积操作，以及设计不同的3D卷积网络。

对一张灰度图进行2D卷积，得到一张图片（一个feature map），哪怕是彩色图有三个通道，也是一样，最终得到的还是一张图（一个feature map），它们本质上都是2D卷积，不包含任何时间信息。AK那篇中Slow Fusion，虽