0. 前言
- 相关资料:
- arxiv
- github
- 论文解读
- 论文基本信息
- 领域:时空行为检测
- 作者单位:上海交大&上海大学
- 发表时间:AAAI 2020
1. 要解决什么问题
- 之前主流的时空行为检测方法框架如下
- 上述框架的主要流程是基于检测的
- 首先,通过短期信息(从帧或小片段)获取人物的信息。
- 之后,通过启发式算法,对不同帧的bbox进行关联。
- 上述框架存在的缺陷:
- 输入数据中只有很少量的历史数据(brief temporal information),这使得相似的动作非常难以分辨。比如跳远和撑杆跳,前面都是跑,最后一点才有区别。
- 这种方法要预测每一帧的信息,所以需要大量算力。
2. 用了什么方法
- 为了解决之前架构的问题,提出了新的架构。新结构主要引入了两个概念:
- 引入了LFB的思想,构建 long-term feature augmentation module(LFA),合并 short-term 与 long-term 的特征。
- 引入了 sparse-to-dense 的思想,即构建 adaptive dynamic temporal sam-
pling module,用于选择合适的时间点的帧,执行detection操作(而不是之前框架中,对每一帧都进行操作)。 - 新老结构对比图如下所示
- 新结构的细节如下图
- 需要进一步了解的细节有以下几个方面
- temporal pyramid and prposals 的细节
- 生成方法看论文就是1D conv + anchors
- 没有彻底搞清楚这个anchors与输入clip的frames长度的关系(输入的clip会有这么长吗?)。
- LFA的实现细节。
- 看了论文,大概是说先3D CNN提取特征,然后temporal avg pool+1d提取temporal信息,然后通过这个temporal信息执行一个类似于注意力机制的网络从而获取长期信息。
- 我不太懂,这个长期信息,好像也就是输入数据当前clip得到的,好像没有什么是一直保存着的,跟之前看的LFB有点区别。
- Dynamic temporal sampling的细节。
- 是对前面的每一个 temporal proposal 进行dynamic temporal sampling操作。
- 好像重点是GT的生成?还没细看。
- Sparsely sampled bounding box detection的细节。
- 说是对2D特征进行检测操作。
- 问题就是2D特征是怎么来的,刚开始不是3D卷积吗?难道是控制了feature的channel数量,从而在最后一层输出时channel数量与输入的frames数量相同?没细看这部分。
- Dense tube generation from sparse proposals的细节。
- temporal pyramid and prposals 的细节
3. 效果如何
- 与SOTA的对比
- 从时间性能上看,有很大优势。
- 性能计算主要就是通过在JHMDB-21上跑一边,计算每个video的平均时间。
4. 还存在什么问题&有什么可以借鉴
-
没有复现比较麻烦。
-
速度看起来比较快,但真要用到online场景下好像不太现实,还需要进一步考虑下。