【Visual Object Tracking】Learning notes

已于 2024-07-15 15:16:24 修改
阅读量962 收藏 18
点赞数 22
分类专栏： CNN / Transformer 文章标签： 读书笔记 深度学习 人工智能 单目标跟踪 VOT
于 2024-01-23 15:43:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bryant_meng/article/details/135558404
版权

在这里插入图片描述

Dense Optical Tracking: Connecting the Dots

参考学习来自：

文章目录

1 单目标跟踪简介

跟踪的定义：在第一帧中给定目标框，在后续帧中不断对目标定位，实际上是一个 one-shot learning 过程。

在这里插入图片描述

目标视觉跟踪(Visual Object Tracking)，大家比较公认分为两大类：生成(generative)模型方法和判别(discriminative)模型方法

在此间基础上还有协同跟踪方法：将生成式跟踪方法与判别式跟踪方法相结合

目前比较流行的是判别类方法，也叫检测跟踪(tracking-by-detection)

tracking-by-detection 和检测算法非常相似，如经典行人检测用 HOG+SVM，Struck 用到了 haar+structured output SVM，跟踪中为了尺度自适应也需要多尺度遍历搜索，区别仅在于跟踪算法对特征和在线机器学习的速度要求更高，检测范围和尺度更小而已。这点其实并不意外，大多数情况检测识别算法复杂度比较高不可能每帧都做，这时候用复杂度更低的跟踪算法就很合适了，只需要在跟踪失败(drift)或一定间隔以后再次检测去初始化tracker就可以了

传统视觉跟踪

（1） 基于目标模型建模的方法: 通过对目标外观模型进行建模, 然 后在之后的帧中找到目标. 例如, 区域匹配、特征点 跟踪、基于主动轮廓的跟踪算法、光流法等. 最常用 的是特征匹配法, 首先提取目标特征, 然后在后续的 帧中找到最相似的特征进行目标定位, 常用的特征 有: SIFT 特征、SURF 特征、Harris 角点等.

在这里插入图片描述

（2）基于搜索的方法: 随着研究的深入, 人们发现基 于目标模型建模的方法对整张图片进行处理, 实 时性差. 人们将预测算法加入跟踪中, 在预测值附近 进行目标搜索, 减少了搜索的范围. 常见一类的预测 算法有 Kalman滤波、粒子滤波方法. 另一种减小搜索范围的方法是内核方法: 运用最速下降法的原理, 向梯度下降方向对目标模板逐步迭代, 直到迭代到最优位置。

相关滤波——correlation filter（KCF，SRDCF，CF2，CCOT，ECO…等等经典工作在我的脑海里飘荡）。如果给这个时代截取一篇最经典的工作，我想我会选择KCF（Kernelized Correlation Filters）——在线更新模型。他是真的将视觉跟踪推向流行，让整个领域真的沸腾起来的工作。

深度学习方法

（1）预测score，这类算法以相关滤波和 SiameFC 为代表。通过预测候选区域的score map来得到物体的位置，物体的尺度大小通常是通过图像金字塔得到。同时无法得到物体的长宽比变化。

（2）GOTURN 和 SiamRPN 为代表的做 boundingbox regression 的方法。这也是SiamRPN取得当前最好结果的核心所在，充分挖取精度方向的红利。实际上并不是 SiamRPN 预测的有多稳定，而是在预测正确的时候，会给出更为精确的box。利用网络预测长宽比可以调整box，这个方向一直以来被大家所忽视，所以SiamRPN很快杀出重围。

（3）mask 在物体发生旋转的时候，简单的box的表述通常会产生极大的损失，这实际上就是表述本身存在的缺陷。而为了进一步探索在精度上存在的问题。我们更进一步，直接预测物体的mask——SiamMask

在这里插入图片描述

2 难点

  • 目标出现遮挡（occlusion）
  • 目标消失等长时跟踪问题
  • 身份切换：对于比较像的目标是会误判，比如都是人
  • 运动模糊（motion blur）
  • 快速移动（fast motion）
  • 旋转（rotation）
  • 视点变化 / 形变（deformation）
  • 尺度变化：目标形状变化较大时容易发生漂移（scale variation）
  • 背景杂乱，背景相似干扰（background clutter）
  • 光照变化（illumination）
  • 低分辨率（low resolution）
  • 模板更新问题：模板不更新会导致模型鲁棒性不佳，出现遮挡模糊等无法识别；模板更新策略不佳又会引入模板污染、过拟合等问题

3 基于深度学习的单目标跟踪网络

在这里插入图片描述

单目标跟踪可以看成是 one-shot learning， one-shot learning 中孪生网络结构用的比较多，下面我们简单的介绍下孪生网络

可以参考

伪孪生网络（pseudo-siamese network，伪孪生神经网络），对于pseudo-siamese network，两边可以是不同的神经网络（如一个是lstm，一个是cnn），也可以是相同类型的神经网络。

Contrastive Loss（对比损失函数）

在这里插入图片描述

Siamese类方法的核心是学习到一个可靠的，通用的相似性度量

One-Shot learning 可以无需重新训练即可应用于新的类别的数据

在这里插入图片描述

（1）SiamFC

《Fully-Convolutional Siamese Networks for Object Tracking》（ECCV-2016 workshops）

开山之作，来自牛津 Luca Bertinetto 大神
在这里插入图片描述

在这里插入图片描述

如果不靠高斯框，基本上无法跟上目标

跟踪的目标不适合背景嘈杂以及剧烈的抖动

SiamFC 对缺乏对背景的利用，也导致模型的判别性不足

SiamFC 预测时，不在线更新模板图像。这使得其计算速度很快，但同时也要求 SiamFC 中使用的特征具有足够鲁棒性，以便在后续帧中能够应对各种变化。另一方面，不在线更新模板图像的策略，可以确保跟踪漂移，在 long-term 跟踪算法上具有天然的优势

（2）SiamRPN

商汤《High Performance Visual Tracking with Siamese Region Proposal Network》（CVPR-2018）

Short-term real-time sub-challenge 冠军，Short-term tracking challenge 不是

引入 RPN 预测位置

解决了尺度问题

（3）DaSiamRPN

商汤《Distractor-aware Siamese Networks for Visual Object Tracking》（ECCV-2018）

考虑了样本不平衡的问题

（4）SiamRPN++

《SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks》（CVPR-2019）

引入深层网络

（5）SiamMask

《Fast Online Object Tracking and Segmentation: A Unifying Approach》（CVPR-2019）

加入了图像分割的内容

4 数据集

在这里插入图片描述
包括短时序列数据集 OTB，VOT，ALOV300++ 和 got-1k 等，以及长时序列数据集 LaSOT，OxUAV 和 TLP 等

OTB50：Wu Y, Lim J, Yang M H. Online object tracking: A benchmark [C]// CVPR, 2013.

OTB100：Wu Y, Lim J, Yang M H. Object tracking benchmark [J]. TPAMI, 2015.

LightTrack 的训练集配置是 Youtube-BB, ImageNet VID, ImageNet DET, COCO and GOT-10K，是pysot里面的常用设置。

TransT 的训练集配置是 COCO, TrackingNet, LaSOT, and GOT-10k，是pytracking里面的常用设置。

在这里插入图片描述

在 VOT2015 时即提出使用旋转矩形框来作为标记。在 VOT2016 的时候提出自动的通过mask来生成旋转框的方法。

5 评价指标

请添加图片描述
精确度（Precision / Accuracy）：跟踪方法估计目标位置的能力
鲁棒性（Robust）：跟踪方法在每个序列上的平均失败次数
成功率（Success）：跟踪方法估计目标尺度大小的准确度
跟踪长度（Tracking length）
最长子序列指标 （LSM metric）：模型的长期跟踪性能
F-score 曲线：精确度和召回率相结合来评价跟踪模型的长期跟踪性能
跟踪速度
期望平均重合度（EAO)：将鲁棒性与平均重合度（average overlap）相结合来评估跟踪方法

来自 VOT2018：SiamNet大崛起

在这里插入图片描述

  • EAO：两个baseline，VOT2016和VOT2017的神话CCOT，和2017年最好算法ECO都只能排在20左右，已经被大幅超越，甚至前几名都与ECO拉开了0.1以上的差距。
  • R鲁棒性前四名：MFT, LADCF, RCO, UPDT，都是DCF（Dual Correlation Filter）类方法，CNN特征提取的backbone都是ResNet-50。
  • A准确性前两名：SiamRPN, SA-Siam-R, 都是SiamNet类方法，这两个算法都表现出准确性奇高，而鲁棒性前十最差的特点。

UPDP 属于 DCF（discriminative correlation filter） + CNN 的方法，目标跟踪新高度UPDT：解除深度特征被封印的力量，Martin大神

上面是公测榜单，内测榜单鲁棒性第一是北邮的 MFT，也是 DFP + CNN 的方法，准确性最高的是 Siam-RPN

下面看看 The VOT2018 long-term challenge

在这里插入图片描述

DaSiam_LT是 DaSiamRPN 的 long-term 版本，用 SiamRPN 产生 proposal，同时建模Distractor抑制干扰目标的响应，与MBMD优化SiamRPN的思路不同，但速度更快。目标丢失检测的思路非常直接：一旦判断到目标丢失，就扩大检测区域，进行一次全图检测。论文版本DaSiamRPN有110FPS，性能仅比MBMD低了0.003，性价比高很多。

SiamNet 速度快性能也不差，real-time 榜和 long-term 榜都是 SiamNet 登顶，尤其 SiamRPN 潜力巨大，打通了目标跟踪和目标检测，性价比很高，接下来会快速发展壮大，希望速度优势能保得住。

6 未来方向

Long-term tracking

  • 我们希望算法可以了解到目标什么时候被遮挡了，什么时候丢失了。丢失之后可以找回，这才是我们想要的跟踪
    Long-term tracking in the wild: a benchmark，缩写叫LTW

单目标多目标跟踪统一

  • 《Unified Transformer Tracker for Object Tracking》（CVPR-2022）
    在这里插入图片描述

7 Others

  • 跟踪问题因为需要时序信息（上一帧的输出作为下一帧跟踪的起始），所以一些微小的影响会被放大。不同内核的GPU运行的结果都有所不同，所以最好写个baseline的参数确认一下环境是否一致。

  • 你简单的增大训练集并不能得到更好的结果（要么是模型容量有问题，要么就是训练过程有问题）

  • 所以高层的特征并没有能学习到fine-grained的特征，甚至因为你给了各种光照，它干脆连颜色也丢了吧（疯狂的data argumentation反而会带来坏处）

  • 残差之所以称为残差，是希望残差学习的部分的均值近似为0

  • 反卷积网络，还原原始图像，这样就强迫网络特征层包含底层信息

  • train from scratch 的概念已经在检测领域非常普遍了。跟踪的网络目前我们的经验在跟踪方面并不work。

  • 补充：数据集 OTB 在2013年公开了，对之前的算法是不可见的，所以 OTB 论文的结果非常可靠，但对于 2013 以后的算法是透明的，有调参的可能性，尤其是那些只跑OTB，而且论文中有关键参数直接给出还精确到小数点后两位的算法，建议您先实测再评价(人心不古啊~被坑的多了)，但 VOT 竞赛的数据库是每年更新，还动不动就重新标注，动不动就改变评价指标，对当年算法是不可见且难度很大的，所以结果更可靠。

  • Cross-Correlation 的本质就是标准卷积 Conv：用 example feature 作为卷积核，对 instance feature 进行卷积，卷积输出就是每个位置的相似度分数。

多目标跟踪

目标跟踪：visual object tracking（VOT），也叫 single object tracking（SOT）

多目标跟踪：multiple object tracking（MOT），相比于VOT，除了要找到跟踪的目标外，还要能够区分跟踪目标属于初始目标中的哪一个（相当于VOT的检测之后，做进一步识别）。

在这里插入图片描述

  • 目标初始化
  • 外观建模
  • 运动估计
  • 目标定位

跟踪算法类型

  • 基于检测与不需要检测的跟踪器
  • 单目标和多目标跟踪器
  • 在线和离线跟踪器
    离线：过去现在未来的信息都可以利用，比如录像分析
    在线：只可能利用过去和现在，不可能用未来的信息
  • 基于学习和基于训练的策略
    在线学习跟踪器，eg：MDNet / ROLO ( 循环YOLO )
    离线学习跟踪器，eg：GOTURN

再谈多目标追踪 | 实际落地如何快速应用部署（2019）

以卡尔曼滤波和匈牙利、KM匹配的后端追踪优化算法(代表性的应用有SORT、DEEP-SORT)

  • 实时性，但依赖于检测算法效果要好，特征区分要好（有点互相甩锅的味道）

基于多线程的单目标跟踪器的多目标追踪算法(代表性的算法有KCF、LEDS)

  • 这类算法特点是跟踪效果会很好，因为其为每一类物体都单独分配了一个跟踪器。但该算法对目标尺度变化要求较大，参数调试需要合理，同时该算法极耗cpu资源，实时性不高。

基于深度学习端到端的多目标跟踪算法。(代表性的算法有SST)

  • 大多处于实验室刷榜阶段，有进一步落地应用的及时更新。

在这里插入图片描述

SORT 是一种实用的多目标跟踪算法，引入了线性速度模型与卡尔曼滤波来进行位置预测，在无合适匹配检测框的情况下，使用运动模型来预测物体的位置。匈牙利算法是一种寻找二分图的最大匹配的算法，在多目标跟踪问题中可以简单理解为寻找前后两帧的若干目标的匹配最优解的一种算法。而卡尔曼滤波可以看作是一种运动模型，用来对目标的轨迹进行预测，并且使用确信度较高的跟踪结果进行预测结果的修正。

参考学习来自：多目标跟踪（MOT）入门

相关方向

在这里插入图片描述

核心步骤

在这里插入图片描述

在这里插入图片描述
①检测 ②特征提取、运动预测 ③相似度计算 ④数据关联。

SORT和DeepSORT

在这里插入图片描述

【附录】

SeqTrack

《Unified Sequence-to-Sequence Learning for Single- and Multi-Modal Visual Object Tracking》CVPR2023
在这里插入图片描述
在这里插入图片描述

PP-Tracking

车辆、行人跟踪一网打尽，超轻量、多类别、小目标跟踪系统开源了！

在这里插入图片描述

在这里插入图片描述

bryant_meng
关注
  • 22
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
visual object tracking
09-12
Fan Yang 发表于14年的CVPR的文章《Robust Superpixel Tracking 》的matlab 代码，对于科研学习后帮助
Visual Object Tracking using Adaptive Correlation Filters
fnoi2014xtx的博客
06-23 957
Paper : Visual Object Tracking using Adaptive Correlation Filters Code : 摘要 视觉跟踪任务需要在一帧的画面上训练鲁棒的滤波器，并随着目标对象的形变动态适应。作者提出了提供了一种新型的相关滤波器——平方误差最小输出和滤波器(MOSSE)，其可以在初始帧上产生稳定的相关滤波器，并随着光照、尺度、非刚性形变等变化进行动态适应，同时能够达到每秒669帧的速度。是否产生遮挡是根据PSR指数进行判断，跟踪器在对象消失时暂停检测并停止相关滤波器.
Visual Object Tracking by Hierarchical Attention Siamese Network
qq_38680752的博客
10-02 367
三、提出的跟踪方法         本章中，作者描述了HASiam。Siamese网络一般是指具有两个相同分支的网络，但对于跟踪问题，最常用的方法是建立两个分辨率不同的分支来进行[17]中的相互关联操作。我们没有直接使用目标特征和搜索区域特征之间的相互关联，而是使用提出的注意网(A-Net)设计目标特征(图3)，并使用注意特征在搜索区域内定位目标。我们采用VGG16实现Siamese网络的分支，在VGG16的每个卷积块后进行互相
Visual Object Tracking: MDNet + VITAL
tanmx219的博客
10-06 649
visual object tracking的项目，运行中碰到些小问题。Windows下matlab运行的这两个项目非常接近， https://github.com/HyeonseobNam/MDNet https://github.com/ybsong00/Vital_release 两个项目的运行，都要先看readme.md文件（比如matlab版本不能太低，要R2014或以上），尤其是...
目标跟踪领域研究（二）跟踪算法
weixin_44371785的博客
07-27 3402
暂时没找到原图链接，为了先发出来，无耻的先标原创，有人知道请告诉我改一下。
The Visual Object Tracking VOT2015 challenge results
08-27
视觉对象跟踪（Visual Object Tracking，简称VOT）是一项在计算机视觉领域具有重要地位的任务，它涉及到对视频序列中的特定目标进行持续跟踪，即使在目标遮挡、形变、光照变化等复杂情况下也能保持追踪的准确性。...
Robust Visual Object Tracking with Two-Stream Residual Convolutional Networks
05-15
目标跟踪 该文指出目前的目标跟踪多仅使用了物体表观信息，该文提出一种双流残差网络同时建模物体表观和运动信息（即光流），进行目标跟踪，在VOT2018、VOT2019和 GOT-10K数据集上，该方法大大好于之前的算法，且...
online visual object tracking
07-13
Kaihua Zhang 2013年发表的文章《Real-time Object Tracking via Online Discriminative Feature Selection》的代码，使用matlab 和c混编
SRDCF_with_DenseNet_SRDCF_objecttracking_deeplearning_fhog_corre
10-04
标题中的"SRDCF_with_DenseNet_SRDCF_objecttracking_deeplearning_fhog_corre"表明这是一个关于基于SRDCF（Short-Term Recurrent Correlation Filter）目标跟踪算法的改进版本，其中融合了深度学习方法，特别是使用...
A Survey of Appearance Models in Visual Object Tracking 阅读笔记（一）
哈哈哈哈嘿嘿嘿
04-15 1462
AUTHOR: XI LI, WEIMING HU, CHUNHUA SHEN, ZHONGFEI ZHANG, ANTHONY DICK, ANTON VAN DEN HENGEL
计算机视觉（visual object tracking）----相关信息的一些总结
qq_37705280的博客
09-15 687
作为一名刚刚接触CV的小白的一些关于CV领域相关信息的总结： 1、CV领域的顶级会议： （顶级） ICCV：International Conference on Computer Vision，国际计算机视觉大会 CVPR：International Conference on Computer Vision and Pattern Recognition，国际计算机视觉与模式识别大会 ...
VOT（Visual Object Tracking）评价指标综述
热门推荐
Dr_destiny的博客
04-28 2万+
上一篇博文简单介绍了vot-toolkit的使用方法。当然，那只是操作层面的东西，更重要的是我们通过这个工具得到的各种图表以及图表中的数据。而想要完整地评价一个tracker的性能，其指标必然不会过于简单，所以就有了这篇文章。我想通过梳理VOT2013到VOT2016评价指标的变化，呈现一个更加清晰的思路，让各位对VOT的认识更加深刻。 这篇文章先对VOT进行总体概述，再按照时间顺序分别叙述，循...
视觉目标跟踪漫谈：从原理到应用
北漂人家
07-14 2093
前言： 视觉目标跟踪 (visual object tracking) 是计算机视觉(computer vision) 领域的一个重要研究问题。通常来说，视觉目标跟踪是在一个视频的后续帧中找到在当前帧中定义的感兴趣物体 (object of interest) 的过程，主要应用于一些需要目标空间位置以及外观（形状、颜色等）特性的视觉应用中。 1什么是视觉目标跟踪 跟踪是在一个视频的后续帧中找到在当前帧中定义的感兴趣物体 (object of interest) ...
极快跟踪一切！DOT：无惧遮挡！
最新发布
3D视觉工坊
12-25 211
来源：3D视觉工坊这里给大家推荐下目标跟踪微信群，扫码入群，方便大家沟通交流：0. 笔者个人体会目前的点跟踪方法主要有两个问题，一个是很难处理遮挡，一个是OmniMotion那些通用方法太慢了。今天笔者将为大家分享一项最新的开源工作DOT（Dense Optical Tracking），同时跟踪视频中的所有像素，具备空间一致性，并且对遮挡具有鲁棒性，最关键的是运行速度与光流相当。下面一起来阅读一下...
主流网络模型之目标跟踪
suixin19890311的博客
02-25 4090
什么是目标追踪（Visual Object Tracking）？ 跟踪就是在连续的视频帧中定位某一物体。 跟踪VS检测 1.跟踪速度比检测快 当你跟踪在上一帧中检测到的对象时，你会非常了解目标的外观。你也知道在前一帧中的位置和它的运动的方向和速度。因此，在下一帧中，可以使用所有这些信息来预测下一帧中目标的位置，并对对象的预期位置进行小范围搜索，以准确定位目标。因此，在设计高效的系统时，通常在每n帧上运行对象检测，而在其间的n-1帧中采用跟踪算法。 2.当检测失败时跟踪来帮助 3.跟踪保留
CV计算机视觉每日开源代码Paper with code速览-2023.12.5
CV计算机视觉
12-11 198
群内包含目标检测、图像分割、目标跟踪、Transformer、多模态、NeRF、GAN、缺陷检测、显著目标检测、关键点检测、超分辨率重建、SLAM、人脸、OCR、生物医学图像、三维重建、姿态估计、自动驾驶感知、深度估计、视频理解、行为识别、图像去雾、图像去雨、图像修复、图像检索、车道线检测、点云目标检测、点云分割、图像压缩、运动预测、神经网络量化、网络部署等多个领域的大佬，16.【自动驾驶：多模态】Dolphins: Multimodal Language Model for Driving。
动态环境下基于光流的移动机器人精确定位方案
老李的博客
05-17 935
An Accurate Localization Scheme for Mobile Robots Using Optical Flow in Dynamic Environments 摘要——视觉同步定位与地图绘制(Visual SLAM)在过去的几年中得到了广泛的研究，并提出了许多先进的算法，在静态场景中取得了令人满意的效果。然而，在动态场景中，现有的视觉SLAM算法不能非常准确地定位机器人。...
DSiam阅读笔记：Learning Dynamic Siamese Network for Visual Object Tracking
闲逸的炫鹰
07-03 5477
这篇是ICCV2017的文章 论文地址    GitHub 这篇文章的baseline是ECCV2016的SiamFC: 全卷积孪生网络for跟踪 Fully-convolutional siamese networks for object tracking   摘要 如何有效的学习跟踪目标的外观变化、排除嘈杂的背景干扰、同时保持实时性，是视觉目标跟踪的重要问题。最近孪生网络在基于匹配的...
对抗样本生成算法之BIM算法
ilalaaa的博客
05-17 9780
目录背景原理 论文链接点击获取. 背景 原理
distractor-aware siamese networks for visual object tracking
03-16
distractor-aware siamese networks for visual object tracking是一种用于视觉目标跟踪的模型，它能够识别并排除干扰物，提高跟踪的准确性。该模型采用孪生网络结构，通过学习目标和背景之间的相似性来进行跟踪。同时，它还能够自适应地调整模型的权重，以适应不同的跟踪场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值