【每周论文阅读-第五周】02 Object Detection in Videos with Tubelet Proposal Networks

Object Detection in Videos with Tubelet Proposal Networks

文章链接：https://arxiv.org/abs/1702.06355
来源：CVPR 2017

视频目标检测中另一类主流的方法就是以目标跟踪的方式生成Tubelet方法，其主要思想是通过链接前后帧同一目标的box生成Tubelet ，以生成稳定的检测结果。但是之前的方法存在耗时长且无法生成长时间的Tubelet的问题。作者从一个全新的思路出发，借鉴FPN的思想，用视频中某一帧的porposal作为锚点，并从锚点出发通过Tubelet Proposal Networks生成长时间的 Tubelet ，之后用双向LSTM为 Tubelet 中的每个proposal分类。

方法

整个方法分类以下几个步骤

1. 生成空间锚点集。
2. 用回归网络回归各个帧中的锚点相对于初始帧锚点的位移量，生成空间Tubelets。
3. 用一个双向LSTM网络对Tubelet中的各个Box进行分类。

先上图

生成空间锚点集

从$t=1$开始，每隔几帧选一帧作为锚帧，通过FPN网络生成该帧的proposals，我们将其作为空间锚点集（spital anchors）。

构建回归网络

对于一个锚点（spital anchor）$b_1^i$，为了生成从$b_1^i$开始的一个Tubelet proposal，我们将该锚点位置复制到之后的$w$帧，生成一个初始的Tubelet $\left({\mathbf{t}}_1^i,{\mathbf{t}}_2^i,\cdots ,{\mathbf{t}}_w^i\right)$。我们用ROI pooling提取各个帧上该位置处的特征，$\left({\mathbf{r}}_1^i,{\mathbf{r}}_2^i,\cdots ,{\mathbf{r}}_w^i\right)$。之后我们构建一个回归网络$R(\cdot )$用于生成Tubelet proposal。

m 1 i , m 2 i , ⋯   , m w i = R ( r 1 i , r 2 i , ⋯   , r