Temporal 3D ConvNets: New Architecture and Transfer Learning for Video Classification

论文地址：https://arxiv.org/pdf/1711.08200

本文最大的贡献就是提出了一种模型迁移的方法，同时引入一种新的时域层temporal layer给可变时域卷积核深度建模，这个层叫做temporal transition layer(TTL) ，作者将这个新的temporal layer嵌入到提出的3D CNN，该网络叫做Temporal 3D ConvNets（T3D）。本文将DenseNet 结构从2D扩展到3D中。另一个贡献是将知识预先训练好的2D CNN转移到随记初始化的3D CNN以实现稳定的权值初始化。

在当下，提出的许多卷积神经网络不能够捕获长范围的时序信息，这限制了模型的表现，同时他们面临着如下问题:(1).这些视频结构相比2D卷积网络有许多参数;(2).训练这些模型需要相对大型的数据集;(3).光流图的获取是比较费力的，而且对于大型数据集来说，难以获取。文章提出了解决上述问题的方案:(1).采用一种网络结构可以有效的捕获视频的空间和时间特征，从而替代光流图;(2).采用一种可以在不同网络之间进行迁移的方法，从而避免网络从头训练。作者基于此提出了可变时序的3D卷积核，这种卷积核可以捕获短中长