Video Analysis 相关领域解读之Temporal Action Detection(时序行为检测)

本文投稿于极视角公众号，链接为文章链接.

也欢迎大家关注我的知乎专栏CV论文笔记及其他。

上一篇笔记介绍了 Action Recognition 领域的研究进展。Action Recognition主要是用于给分割好的视频片段分类，但实际中大部分视频都是未分割的长视频。所以这就引出了今天要介绍的领域：Temporal Action Detection（或者叫Temporal Action Localization,意思相同)。过去半年时间我也一直在做这个方向，投了两篇论文，如果能中的话应该会写笔记介绍一下~

任务特点及分析

任务目的

给定一段未分割的长视频，算法需要检测视频中的行为片段（action instance），包括其开始时间、结束时间以及类别。一段视频中可能包含一个或多个行为片段。

任务特点与难点

• action recognition与temporal action detection之间的关系同 image classfication与 object detection之间的关系非常像。基于image classification问题，发展出了许多强大的网络模型（比如ResNet,VGGNet等），这些模型在object detection的方法中起到了很大的作用。同样，action recognition的相关模型（如2stream，C3D, iDT等)也被广泛的用在temporal action detection的方法中。
• 由于temporal action detection和object detection之间存在一定的相似性，所以很多temporal action detection方法都采用了与一些object detection方法相似的框架（最常见的就是参考R-CNN系列方法）。具体的会在后面的论文介绍中讲到。
• 时序行为检测的难点1：在目标检测中，物体目标的边界通常都是非常明确的，所以可以标注出较为明确的边界框。但时序行为的边界很多时候并不是很明确，什么时候一个行为算开始，什么时候行为算结束常常无法给出一个准确的边界（