Temporal Segment Networks: Towards Good Practices for Deep Action Recognition（论文笔记）

原文链接： Temporal Segment Networks: Towards Good Practices for Deep Action Recognition

摘要

深度卷积网络在静态图像的视觉识别方面取得了巨大的成功。然而，对于视频中的动作识别，该方法相对于传统方法的优势并不明显。本文旨在探索视频中动作识别的有效卷积神经网络结构的设计原则，并在有限的训练样本下学习这些模型。我们的第一个贡献是时间分割网络(TSN)，一种基于视频的动作识别的新框架，基于长程时间结构建模的思想。它结合了稀疏时间采样策略和视频级监督，使整个动作视频能够高效学习。另一个贡献是我们研究了在时间分割网络的帮助下学习视频数据卷积网络的一系列良好实践。我们的方法在HMDB51(69.4%)和UCF101(94.2%)的数据集上获得了最先进的性能。我们还将学习的ConvNet模型可视化，定性地证明了时间分割网络和提出的良好实践的的有效性。

方法介绍

TSN-时间分割网络：

方法：
使用双流法，旨在提取整个视频中的信息。两个流分别是：空间流和时间流。

模型结构：

数据：
不像以往工作在单个帧或者帧堆叠数据上的模型，TSN的数据是稀疏采样自整个视频的短片段（snippet）序列。每个snippet都会给出对于视频所示动作的初始预测。之后，会基于这些短片段的预测整合出一个整体的全视频层面的预测。
流程：
给定视频V，将其分为等长的k段$S_1,S_{}$