《3D Convolutional Neural Networks for Human Action Recognition》论文阅读笔记

前言

行为识别是目前非常火的一个方向，3D CNN算是基于视频的行为识别的一分奠基性的工作。目前行为识别的应用相当的广泛。但由于背景混乱、闭塞和视觉变化等原因（cluttered backgrounds，occlusions &viewpoing variations），对行动的准确识别是一项非常具有挑战性的任务。目前的大多数方法对视频采取了想当然的假设，例如，小规模和观点变化；但这样的假设在现实环境中很少存在。

传统方法

1）计算原始视频帧的特征

2）第二步基于获得的特征学习分类器。

存在问题

在现实场景下，因为特征高度依赖于问题，我们很少知道什么特征对于手头的任务是重要的；特别是对于人类行为的识别，不同的动作类别在外观和运动模式方面可能会显得不同。利用手工提取特征可能提取不到是和当前运动场景的特征。基于深度学习的CNN可以有效提取特征，但是输入的图像受限于2D场景，无法同时提取时间和空间维特征。

论文贡献

1）提出通过3D卷积操作核去提取视频数据的时间和空间特征。这些3D特征提取器在空间和时间维度上操作，因此可以捕捉视频流的运动信息。

2）基于3D卷积特征提取器构造了一个3D卷积神经网络。这个架构可以从连续视频帧中产生多通道的信息，然后在每一个通道都分离地进行卷积和下采样操作。最后将所有通道的信息组合起来得到最终的特征描述。

3）提出通过计算高层运动特征得到的辅助输出来增强模型。为了应对不同环境的使用，还综合多个不同的CNN架构去综合判断识别结果。

4）在TRECVID数据集中测试，并和一些基准方法进行比较。其实验证明文中方法outperforms二维CN