《Action Recognition》-Learning Spatiotemporal Features with 3D Convolutional Networks(C3D)

最新推荐文章于 2022-05-28 20:53:41 发布

逃離地球

最新推荐文章于 2022-05-28 20:53:41 发布

阅读量3.2k

点赞数

文章标签：开发语言视频处理计算机视觉

本文链接：https://blog.csdn.net/qq_43786852/article/details/121266315

版权

We experimentally show 3D convolutional deep net-works are good feature learning machines that model appearance and motion simultaneously.
We empirically find that 3×3×3 convolution kernel for all layers to work best among the limited set of explored architectures
The proposed features with a simple linear model out-perform or approach the current best methods on 4 different tasks and 6 different benchmarks .They are also compact and efficient to compute.

网络的输入3×16×128×171,随机裁剪后为3×16×112×112，然后输入到网络中，共有8层3D卷积，5层Pooling,和2层全连接。
在这里插入图片描述

3D convolution and pooling
作者在文中使用了3D卷积和3D池化层，3D卷积相对于2D卷积来说，能够更好的学习到时序上的信息，因为2D卷积只在高和宽两个维度(hxw)上进行运算，而3D增加了时序上的维度(lxhxw)。下图展示了3D卷积和2D卷积的区别：
卷积核时序上的维度
作者做了几个对比实验，得出卷积核时序上维度为3时模型效果最好，实验结果如下图：

作者指出，通过C3D提取出来的特征，与其他2D网络提取特征相比能够与分类器结合后达到更好的效果。实验结果如下图：
在这里插入图片描述

虽然C3D的效果并没有很亮眼，但由于其网络结构简单清晰，比Two-Stream方法快很多，而且基本上都是端到端的训练，同时提取出了空间和时序上的特征。但是3D卷积网络的缺点就在于网络参数很大。导致网络很难训练，小型数据集容易导致过拟合。

关注