读High-Performance Long-Term Tracking with Meta-Updater的记录

读High-Performance Long-Term Tracking with Meta-Updater的记录**

本文纯粹是读文章记录，方便自己理解，不去编辑了

核心是长期跟踪+元更新器（Meta-Updater）
长跟踪器应用更广，以往比较好的长跟踪器也主要是基于离线训练的孪生网络结构，其实做长期跟踪还是需要在线更新。如果直接用短期跟踪的在线更新方式，由于跟踪过程不太容易控制，易受噪声影响。这篇文章就提出利用离线训练的Meta-Updater来解决长期跟踪的问题：即什么时刻需要去更新当前帧。作者还提到Meta-Updater可以有效地融合几何，判别性，外观线索信息，利用级联的LSTM来挖掘序列信息，最后是学习一个二进制输出来引导更新。整个跟踪框架由在线的local跟踪器，验证器，基于SiamRPN的再检测器和Meta-Updater构成。

长期跟踪应用更广，基本上短期跟踪序列平均长度比长期跟踪序列长度短了一半，长期跟踪任务需要跟踪器具备强的再检测能力。

短期跟踪器基本上都是基于深度学习的方法，角度各一，比如one-shot learning，online learning。VOT2018LT冠军MBMD，采用离线训练回归网络，直接回归目标的bbox，通过在线学习验证器，让跟踪器能够在局部跟踪和全局再检测之间切换。在线更新有利也有弊，能够随时捕获目标和背景的外观变化，但是如果样本带噪声，模型也就不可避免的受污染，尤其是对长期来说，不确定的情况非常多。
这篇文章就提出从两个角度来提高长期跟踪的性能，充分利用在线跟踪器用于局部跟踪，其次是提出用Meta-Updater来引导跟踪器更新。因此这篇文章它贡献主要有两点：
离线训练Meta-Updater来引导在线跟踪器更新，提高泛化能力
提出长期跟踪的框架：基于SiamRPN的再检测器+在线验证器+在线局部跟踪器+Meta-Updater

简单概述下长期跟踪和在线跟踪的方法
长期跟踪的方法有基于关键点，基于候选区域，基于检测器等。经典的方法是TLD，结合局部跟踪器和全局再检测器，利用光流和弱分类器集成。还有就是引入再检测机制，比如随机搜索，滑窗检测。这类跟踪器关键的问题是如何在局部跟踪器和全局再检测器之间切换。一般的思路是根据局部跟踪器的输出结果来自我评判，判断是否跟丢了目标。不过这样做风险比较大，因为局部跟踪器的跟踪结果有时并不可靠，容易误切换。最近的方法通过离线训练匹配网络来代替在线验证，还有就是采用在线更新的跟踪，局部跟踪效果其实也非常好。
在线跟踪在捕获外观，周围环境变化方面非常重要。方法包括：模板更新，增量学习，在线分类器学习等。其实它也有弊端，噪声引入会累积误差，也就是说，在跟丢的时候，也会去采集样本来拟合数据完成在线更新。第一种方案是，去观察啥时候跟丢了或者是在恢复后才去采样。第二种是设计某种规则来评判跟踪结果的可靠性。这篇文章是离线训练Meta-Updater，输出二值分数来引导跟踪器，判断当前帧是否要更新，关注的是什么时候需要更新的问题。其它元学习方法关注的是怎样更新的问题。

长期跟踪框架
用一个local tracker去输出搜索区域内的目标，然后用verifier去验证当前跟踪结果是否准确，如果验证分数大于预定的阈值，继续跟踪下一帧。反之，用Faster RCNN去检测下一帧所有的候选目标，裁剪每一个候选目标的搜索区域，然后输入到SiamPRN model[51]，产生候选bbox，然后再输入到verifier去验证bbox是否有目标，如果有，则重置local tracker跟踪的是当前检测的目标。在跟踪下一帧前，对跟踪过的每一帧采样，输入到meta-updater，最后来引导在线更新。

Local tracker采用ATOM（只用了ATOM的在线分类分支，得到一个score map），采用SiamMask的尺度估计方法，采用RTMDNet的验证方法

框架的优点：把local tracker的在线更新方式嵌入到长期跟踪框架上，尽可能统一了长期跟踪和短期跟踪的问题
缺点：除了第一帧外，任何帧的跟踪结果没有绝对的准确，在线更新存在风险，因此利用Meta-Updater来解决

Meta-Updater
它要解决的问题是，基于历史的跟踪结果（几何信息，判别信息，外观线索），来判断当前时刻tracker是否要更新。

几何信息
连续帧的一系列bbox包含重要的目标运动信息，比如速度，尺度变化，即bbox的坐标向量。

判别信息
响应图最大值也是判别信息，但不稳定，因此利用CNN来充分挖掘响应图的信息，文中CNN是两层的卷积层+全局平均池化层，输入是response map，输出是118的向量，同LSTM一起训练。

外观信息
因为在线更新tracker，跟踪响应对噪声并不敏感，因此直接通过输出结果来自我评判跟踪结果是有风险的，文章采用模板匹配的方法，也就是跟第一帧做个比较。文中匹配网络Res-50的结构，也就是得到孪生网络的训练，训练好后就固定。

所有这些信息构成序列线索，就是拼接成一个向量，然后输入Meta-Updater模型，即级联的LSTM中。

级联的LSTM
级联3层的标准LSTM，输入是序列信息，其中每一个时间步的输入信息包括了几何信息，判别信息（包括两部分最大值和通过设计的网络得到的值），外观信息。输出的值接两层的全连接层，最后得到二值输出，来判断是否要更新。

Meta-Updater训练
样本：对于每一个视频序列，在一个时间步长，选取视频帧，第一步是通过前面描述的方法得到，每一帧的输入信息，即序列线索。第二步是采样，确定那些是正样本，负样本，判断依据是local tracker输出的bbox和GT之间的IOU
模型训练：local tracker和Meta-Updater是紧密关联的，因为要根据local tracker的跟踪结果来采样训练级联的LSTM，这里有个细节，一般在训练Meta-Updater不会迭代很多次，因为要学习的通用的Meta-Updater，而不是针对具体任务的Meta-Updater。

泛化能力
Meta-Updater的输入需要local tracker的response map，如果选择的local tracker不输出响应图，可以把对应处理响应图的那个CNN网络去掉。还有就是文章说他的Meta-Updater具有选择样本的能力，也就是说如果Meta-Updater的输出结果是0，那么当前的跟踪结果不会加到训练样本中去。整个Meta-Updater非常nice，可以泛化到不同跟踪器。
总结：感觉文章就是个大杂烩，把好多跟踪器非常好的功能用起来，最后是训练一个Meta-Updater，即级联的LSTM，通篇下来感觉实现起来应该挺复杂的。一开始我猜想速度应该不会快（后来对照原文13fps）。其实这篇文章能学习的地方非常多，以前也想到过如何利用好时序信息，这篇就给了一些启发。默默的学习中。

基于元学习的方法
Hankyeol Lee. A memory model based on the siamese network for long-term tracking. In ECCVW, 2018
Meta-tracker:Fast and robust online adaptation for visual object trackers. In ECCV, 2018
Bi Li.Learning to update for object tracking with recurrent meta-learner. IEEE Transcations on Image Processing, 28(7):3624–3635, 2019
Jianglei Huang and Wengang Zhou. Re2EMA: Regularized and reinitialized exponential moving average for target model update in object tracking. In AAAI,2019
Janghoon Choi, Junseok Kwon, and Kyoung Mu Lee.Deep meta learning for real-time target-aware visual tracking. In ICCV, 2019
Peixia Li, Boyu Chen, Wanli Ouyang, Dong Wang, Xiaoyun Yang, and Huchuan Lu. GradNet: Gradient guided network for visual object tracking. In ICCV, 2019