早期关于siamese利用时序的文章

Tracking Holistic Object Representations

跟踪过程中,目标是动态变化的,所以,作者就想设计一种动态的目标表达方法,来很好的建模 object template 的变化。LTM模块的目标用于存储具有最大多样性的跟踪结果。STM 模块的目标是处理快速形变和部分遮挡。
我认为该方法有效地选择了有利帧,但是没有考虑帧间的联系,还是独立的搜索。
在这里插入图片描述
消融实验表明该方法有效地提高了鲁棒性,但是精度也下降比较明显。说明模板更新还是很容易受到误差累积的影响。
在这里插入图片描述

MemTrack:Learning Dynamic Memory Networks for Object Tracking

采用第一帧为模板难以适应目标的形状变化,而直接用前一帧的目标特征作为模板又很容易因为累积性的误差导致跟踪漂移。所以作者提出用一个动态记忆网络来适应目标的形态变化,同时采用LSTM网络来控制目标特征的读取。
通过搜索图像控制记忆帧读取的权重,再通过和第一帧残差连接。
在这里插入图片描述
在这里插入图片描述
消融实验表面简单直接的对所有模板求平均并不好(Queue),所以需要设计复杂的模板之间的联系。

Graph Convolutional Tracking

这里的ST-GCN给我一种self-attention的感觉,CT-GCN给我一种cross-attention的感觉,因为他们都是在pixel层面学习相关性。
在这里插入图片描述
消融实验证明了空间相关性、时间相关性,和上下文相关性有效。
在这里插入图片描述

GradNet: Gradient-Guided Network for Visual Object Tracking

这篇文章是第一个利用梯度信息来实现模板的更新。为什么说他会隐式的更新模板呢,是因为每次前传都会跟利用搜索图像做一次反传然后更新,所以是利用了梯度信息更新模板。所以搜索图像时从跟踪结果选择的。
在这里插入图片描述
在这里插入图片描述

Learning the Model Update for Siamese Trackers

这篇文章是对模板线性求和方式的改进,最大的亮点是他的训练方式,将seq转换为pair。

模板是前面图像帧的线性组合,导致随着时间的增加模板信息会有一个指数衰减。虽然这种更新方法已经提升了结果,但是它的简单性限制了通过学习更新可能获得的潜在效果。作者提出了用学习更新模板的方式来替代手工更新模板的方式。作者提出了一种叫UpdateNet的卷积神经网络方式,用之前积累的模板和当前帧的模板来生成一个下一帧可以用的最优模板。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
通过两帧之间的特征做差,可以看出这样做符合模板的变化。
在这里插入图片描述
越复杂的模型越更新效果越不好。

Learning Dynamic Siamese Network for Visual Object Tracking

学习目标的外观变化,排除背景的干扰。通过比较学习两个变化,V和W
在这里插入图片描述
在这里插入图片描述

总结一下

无论是单模板还是多模板的更新方式,都缺乏对帧与帧之间的关系建模。无外乎通过已有的线索进行加权,例如搜索图像。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值