Tracking Holistic Object Representations
跟踪过程中,目标是动态变化的,所以,作者就想设计一种动态的目标表达方法,来很好的建模 object template 的变化。LTM模块的目标用于存储具有最大多样性的跟踪结果。STM 模块的目标是处理快速形变和部分遮挡。
我认为该方法有效地选择了有利帧,但是没有考虑帧间的联系,还是独立的搜索。
消融实验表明该方法有效地提高了鲁棒性,但是精度也下降比较明显。说明模板更新还是很容易受到误差累积的影响。
MemTrack:Learning Dynamic Memory Networks for Object Tracking
采用第一帧为模板难以适应目标的形状变化,而直接用前一帧的目标特征作为模板又很容易因为累积性的误差导致跟踪漂移。所以作者提出用一个动态记忆网络来适应目标的形态变化,同时采用LSTM网络来控制目标特征的读取。
通过搜索图像控制记忆帧读取的权重,再通过和第一帧残差连接。
消融实验表面简单直接的对所有模板求平均并不好(Queue),所以需要设计复杂的模板之间的联系。
Graph Convolutional Tracking
这里的ST-GCN给我一种self-attention的感觉,CT-GCN给我一种cross-attention的感觉,因为他们都是在pixel层面学习相关性。
消融实验证明了空间相关性、时间相关性,和上下文相关性有效。
GradNet: Gradient-Guided Network for Visual Object Tracking
这篇文章是第一个利用梯度信息来实现模板的更新。为什么说他会隐式的更新模板呢,是因为每次前传都会跟利用搜索图像做一次反传然后更新,所以是利用了梯度信息更新模板。所以搜索图像时从跟踪结果选择的。
Learning the Model Update for Siamese Trackers
这篇文章是对模板线性求和方式的改进,最大的亮点是他的训练方式,将seq转换为pair。
模板是前面图像帧的线性组合,导致随着时间的增加模板信息会有一个指数衰减。虽然这种更新方法已经提升了结果,但是它的简单性限制了通过学习更新可能获得的潜在效果。作者提出了用学习更新模板的方式来替代手工更新模板的方式。作者提出了一种叫UpdateNet的卷积神经网络方式,用之前积累的模板和当前帧的模板来生成一个下一帧可以用的最优模板。
通过两帧之间的特征做差,可以看出这样做符合模板的变化。
越复杂的模型越更新效果越不好。
Learning Dynamic Siamese Network for Visual Object Tracking
学习目标的外观变化,排除背景的干扰。通过比较学习两个变化,V和W
总结一下
无论是单模板还是多模板的更新方式,都缺乏对帧与帧之间的关系建模。无外乎通过已有的线索进行加权,例如搜索图像。