CVPR 2019 GCT:《Graph Convolutional Tracking》论文笔记

理解出错之处忘不吝指正。

简介

本文出自中科院自动化所，模式识别国重。
文章链接
代码链接

动机

使用Siamese结构做目标跟踪一直存在一个问题，即：当目标被遮挡、形变或其他原因，导致跟丢后，无法重新跟踪。作者认为，传统的SiamTrackers没有考虑时空连贯性。

贡献

1. 本文是第一个在Siamese结构下使用图卷积做目标跟踪的方法，模型可以端到端的训练。
2. 作者在Siamese网络中设计了ST-GCN和CT-GCN结构，前者可以对目标的时空信息进行建模，后者可以利用当前帧的上下文对特征进行自适应。
3. 实验结果展示了本文方法的有效性，且可以做到实时。

方法

本文方法的整体结构如下图所示。可以看出，与传统的SiamTrackers不同的是，上分支中使用ST-GCN对目标的时空信息进行了建模，得到ST-Feature。对于当前跟踪帧，得到上下文特征Context Feature，使用CT-GCN得到自适应特征Adaptive Feature。最后，经过XCorr得到响应图。

ST-GCN和CT-GCN是本文的核心，前者负责编码目标的时空特征，后者根据目标状态对特征进行自适应，二者的网络结构如下图所示。

实验

在OTB-2013数据集上做的消融实验：

在OTB数据集上的实验结果：


在VOT2017上的实验结果：

在VOT2017 real-time上的实验结果：

在UAV123上的实验结果：

从实验结果可以看出，其实本文方法在精度上达不到SOTA，这可能因为本文方法是基于SiamFC实现的，毕竟是2016年的论文，能够在现在和SOTA一战已经很不错了。另一点，本文是第一篇使用GCN的tracker，具有借鉴意义。