Tracking Holistic Object Representations
BMVC 2019 Oral
2019-08-04 10:30:09
Paper: https://arxiv.org/pdf/1907.12920
Project: https://sites.google.com/view/vision-thor/
Code: https://github.com/xl-sr/THOR
Related Papers: (利用外部记忆网络来动态更新目标模板)
1. Learning Dynamic Memory Networks for Object Tracking, Tianyu Yang, Antoni B. Chan (ECCV), 2018, pp. 152-167, paper, code
2. Visual Tracking via Dynamic Memory Networks, Tianyu Yang and Antoni B. Chan, T-PAMI 2019, Paper, Code
3. A Memory Model based on the Siamese Network for Long-term Tracking,Lee, Hankyeol, Seokeon Choi, and Changick Kim. (ECCV Workshop). 2018. Paper
1. Background and Motivation:
现有的基于 matching 方法的跟踪器,很多都是拿 第一帧的目标模板和后续采样的 proposal 进行匹配,从而得到相应得分,得到跟踪结果。问题是,跟踪过程中,目标是动态变化的,所以,作者就想设计一种动态的目标表达方法,来很好的建模 object template 的变化。
本文所提出的跟踪方法示意图如下所示:
2. The Proposed Method:
为了得到一个丰富的 multi-template representation 进行跟踪,本文提出一种由 long-term module (LTM) 和 short-term module(STM)构成的框架。如上图所示,跟字面意思相同,STM 适用于短期更新的模板,而 LTM 适合建模长期的外观变化(represents the tacked objects in diverse conditions, e.g. lighting, shape)。而这种用短期 feature 和 长期 feature 进行跟踪的思想,之前的工作也有探索,但是,本文还是跟他们由区别的,即:特征发现的方法以及用于跟踪的方法(the way features are found and used for tracking)。
2.1 Long-term Module:
该模块的目标是:存储具有最大多样性的跟踪结果。正式的来说, LTM 的目标是最大化由模板构成的 feature vector 的超平形体(我知道很拗口,嗯,还会看原文吧:the goal of LTM is to maximize the volume T(f1, ... fn) of the parallelotope formed by the feature vectors fi of the tempalte Ti)。在深度匹配算法中,给定 template image 的 feature vector 被当做是卷积核。孪生网络将图像映射为 feature,然后用到的卷积操作被当做是相似性度量的方法。在跟踪过程中,template kernel f1 被用于 search image 以得到最高相应的位置。所以,如果我们想要衡量两个 template 之间的相似性,我们可以计算 f1 * f2。用内存中所有的 template 来计算该相似性,我们可以构架一个 Gram matrix:
其中,G 是 n * n marix, n 通常还会比 feature space 小。G 的决定条件,称为:the Gram determinat,is the square of the n-dimensional volume T of the parallelotope constructed on f1, f2, ... fn. 所以,目标函数可以写为:
当某一个模板如果可以提升 Gram determinant,那么就考虑将其替换掉 template 集合中的对应模板。
Lower Bound:
由于长期跟踪中存在 model drift 的问题,所以存贮的过程会终止。为了处理这种情况,作者在 |G| 上,设置了一种 upper bound。然而,由于找到这么一个 value 并不是很直接,所以作者考虑用 lower bound on the similarity measure between a candidate tempalte Tc and the base template T1. 新的模板需要满足如下的条件:fc * f1 > l * G11. 参数 l 可以看做是 temperature on the similarity of T1 on itself. 并且可以用于平衡 tracking performance against robustness against drift.
2.2 Short-term Module:
STM 模块的目标是处理 abrupt movements 和 partial occlusion。STM 模块遵循先进先出的方式,slots 的个数设置为固定的 Kst。作者也将 STM 中的 object representation 用于计算 diversity measure。但是,在短期模型中,这种度量方式表现并不好。所以作者计算:
即:作者将 Gram matrix 的上三角部分进行求和,然后用最大值进行归一化。该 \gamma 的范围是 [0-1],越靠近1,则 STM 中的模板越多样化。
3. Experiments:
最后作者提到了一些可以继续改善的地方:
1. Siamese Tracker 对参数很敏感,所以,本文的方法也对超参数有点敏感,毕竟是基于 Siamese Network 做的;
2. 作者也考虑将 Siamese tracker 和 THOR 进行端到端的训练。
==