更新时间:2022.1.21
Siamese系列跟踪网络
可以参考大佬博客
1、Siam FC(CVPR2016)
题目:Fully-Convolutional Siamese Networks for Object Tracking
论文地址:arxiv,readpaper
作为孪生跟踪网络的开山鼻祖,Siam FC将跟踪当做一个配对问题,即把第一帧的目标当做模板,在搜索帧中匹配相似度最高的目标。通过一对孪生特征提取网络分别提取模板帧和搜索帧的特征,再将两个特征进行相似度计算。
2、Siam RPN(CVPR2018)
题目:High Performance Visual Tracking with Siamese Region Proposal
Network
论文地址:CVPR,readpaper
由于Siam FC的问题在于跟踪框不够灵活,所以Siam RPN便加入了目标检测的RPN结构,让跟踪框更加的准确,并且省去多尺度测试耗费的时间。
3、Global Track(AAAI2020)
题目:GlobalTrack: A Simple and Strong Baseline for Long-term Tracking
论文地址:AAAI,arxiv,readpaper
代码地址:https://github.com/huanglianghua/GlobalTrack
GlobalTrack 算法将目标跟踪与 Faster RCNN 结合,将跟踪任务视为模板引导的全局实例检测问题。
GlobalTrack 提出了一种查询引导的 RPN,其中的关键思想是使用相关性对特征提取网络中的模板信息进行编码。然后,查询引导的 RCNN 负责完善候选框的分类标签和坐标的预测。
Transformer启发
1、Transformer Tracking(CVPR2021)
题目:Transformer Tracking
论文地址:CVPR,readpaper
代码:github
好文解读:博客地址
最近流行的基于孪生网络的跟踪器主要采用correlation operation的融合方式来考虑模板与搜索区域之间的相似性,但是correlation operation本身是一个局部线性匹配过程,导致语义信息丢失,容易进入局部最优。
在Transformer的启发下,作者提出了一种新的attention-based的特征融合网络,有效地将模板和搜索区域特征完全结合在一起。
2、Transformer Meets Tracker(CVPR2021)
题目:Transformer Meets Tracker Exploiting Temporal Context for Robust
Visual
论文地址:CVPR,readpaper
代码:github
好文解读:博客地址
在视频目标跟踪中,连续帧之间存在丰富的时间上下文信息,在现有的跟踪器中已大大忽略了这些上下文信息。所以作者考虑将 Transformer 引入到 Tracking framework 中,借助 Transformer 模块学习视频中的时序信息以辅助跟踪。并在 Siamese tracker 和 DCF tracker 上进行了结合,在多个数据集上都得到了不错的结果。
3、Learning Spatio-Temporal Transformer for Visual Tracking(ICCV2021)
题目:Learning Spatio-Temporal Transformer for Visual Tracking
论文地址:CVPR,readpaper
代码:github
好文解读:博客地址
- 提出了一种新的基于transformer的目标追踪结构,这种结构可以捕捉空间和时间维度的信息。
- 整个pipline还是比较简单的,不需要调太多超参数
4、STMTrack(CVPR2021)
题目:STMTrack: Template-free Visual Tracking with Space-time Memory Networks
论文地址:CVPR,readpaper
代码地址:github
视频资料:bilibili
- 提出了一种端到端的记忆跟踪框架,不仅像siamese network那样高效,也有着和模板更新策略一样强的自适应能力。
- 提出了与模板更新策略不同的全新方法,为之后的基于时空记忆的方法有一定的启发作用。
- 提出了一种基于像素级相似度计算的视觉跟踪记忆机制,能生成更精确的bounding-box。
- 在OTB-2015、TrackingNet、LaSOT和GOT-10K上取得了SOTA的性能,实时37FPS