【达摩院OpenVI】视频目标渐进式Transformer跟踪器ProContEXT

已于 2023-04-20 10:31:32 修改
阅读量5.1k 收藏 6
点赞数 1
分类专栏： 深度 学习论文与相关应用 文章标签： transformer 人工智能 计算机视觉 目标跟踪 视频
于 2023-04-19 16:47:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunbaigui/article/details/130247750
版权

论文&代码

背景介绍

视频目标跟踪（Video Object Tracking, VOT）任务以一段视频和第一帧中待跟踪目标的位置信息（矩形框）作为输入，在后续视频帧中预测该跟踪目标的精确位置。该任务对跟踪目标的类别没有限制，目的在于跟踪感兴趣的目标实例。该算法在学术界和工业界都是非常重要的一个研究课题，在自动驾驶、人机交互、视频监控领域都有广泛应用。

由于输入视频的多样性，目标跟踪算法需要适应诸如尺度变化、形状变化、光照变化、遮挡等诸多挑战。特别是在待跟踪目标外观变化剧烈、周围存在相似物体干扰的情况下，跟踪算法的精度往往急剧下降，甚至出现跟踪失败的情况。如图1所示，对于一个输入视频，待跟踪跟踪物体（红色虚线圆）会随着时间而产生剧烈变化，相比于初始帧中的目标外观，待跟踪帧中的目标外观会与中间帧的目标外观更相似，因此中间帧的目标外观形态是一个非常好的时域上下文信息。另外，对于跟踪过程中目标物体周围的空域上下文信息对算法鉴别相似物体和干扰背景有很大的帮助。

图1 上下文信息在跟踪过程中发挥着重要作用

方法介绍

最近，一些基于Transformer网络的视频目标跟踪算法，比如OSTrack[1], MixFormer[2], STARK[3]等，展现了较高的算法精度，基于之前的研究工作，本文提出了ProContEXT(Progressive Context Encoding Transformer Tracker)，把时域上下文信息和空域上下文信息共同引入到Transformer网络中。

ProContEXT的整体结构如图2所示，该方法具有如下的特点：

图2 ProContEXT的整体结构
  1. ProContEXT是一种渐进式上下文感知的Transformer跟踪器，在Transfomer跟踪器中利用了动态的时域信息和多样的空域信息进行特征提取，从而能获得更加鲁邦的跟踪特征。
  2. ProContEXT通过改进ViT主干网络，在输入中增加了多尺度静态模板(static templates)和多尺度动态模板(dynamic templates)，并通过上下文感知的自注意力机制模块充分利用视频跟踪过程中目标的时域上下文和空域上下文信息。通过渐进式的模板优化和更新机制，跟踪器能快速适应目标的外观变化。
  3. ProContEXT在多个公开数据集中（TrackingNet和GOT-10k）获得SOTA性能，并且运行效率完全达到实时要求，速度为54.3FPS.

实验结果

本文基于TrackingNet和GOT-10k数据集进行算法实验，完全遵守各数据集的使用准则。

SOTA对比

首先，与目前SOTA方法的对比如下表所示，ProContEXT在TrackingNet数据集和在GOT-10K数据集均超过对比的算法，达到SOTA精度。

表1 与SOTA对比

消融实验

本文对静态模板数目进行了消融实验，结果如下表所示，当使用2个静态模板时，效果最佳。表中实验数据说明当使用更多静态模板数目时，会引入冗余信息，导致跟踪效果下降。

表2 静态模板数目消融实验

另外，对动态模板的数目和尺度也进行了消融实验，结果如下表所示，当加入动态模板时，跟踪算法精度均有提升，并且使用两个尺度的动态模板比只使用单个尺度算法精度有进一步提升。

表3 动态模板消融实验

最后，对于算法中使用到的令牌修剪模块中的超参也进行了探索，实验结果如下表所示，当参数为0.7时达到算法精度和效率的最加平衡。

表4 令牌修剪模块消融实验

模型传送门

视频跟踪模型：

  • 视频单目标跟踪ProContEXT：https://modelscope.cn/models/damo/cv_vitb_video-single-object-tracking_procontext/summary
  • 视频单目标跟踪OSTrack：https://modelscope.cn/models/damo/cv_vitb_video-single-object-tracking_ostrack/summary
  • 视频多目标跟踪FairMOT：https://modelscope.cn/models/damo/cv_yolov5_video-multi-object-tracking_fairmot/summary

检测相关模型：

  • 实时目标检测模型YOLOX：https://modelscope.cn/models/damo/cv_cspnet_image-object-detection_yolox/summary
  • 高精度目标检测模型DINO：https://modelscope.cn/models/damo/cv_swinl_image-object-detection_dino/summary
  • 实时目标检测模型DAMO-YOLO：https://modelscope.cn/models/damo/cv_tinynas_object-detection_damoyolo/summary
  • 垂直行业目标检测模型：https://modelscope.cn/models?page=1&tasks=vision-detection-tracking%3Adomain-specific-object-detection&type=cv

关键点相关模型：

  • 2D人体关键点检测模型-HRNet: https://modelscope.cn/models/damo/cv_hrnetv2w32_body-2d-keypoints_image/summary
  • 2D人脸关键点检测模型-MobileNet：https://modelscope.cn/models/damo/cv_mobilenet_face-2d-keypoints_alignment/summary
  • 2D手部关键点检测模型-HRNet：https://modelscope.cn/models/damo/cv_hrnetw18_hand-pose-keypoints_coco-wholebody/summary
  • 3D人体关键点检测模型-HDFormer：https://modelscope.cn/models/damo/cv_hdformer_body-3d-keypoints_video/summary
  • 3D人体关键点检测模型-TPNet：https://modelscope.cn/models/damo/cv_canonical_body-3d-keypoints_video/summary

智能通行模型：

  • https://modelscope.cn/models/damo/cv_ddsar_face-detection_iclr23-damofd/summary
  • https://modelscope.cn/models/damo/cv_resnet50_face-detection_retinaface/summary
  • https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary
  • https://modelscope.cn/models/damo/cv_manual_face-detection_tinymog/summary
  • https://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summary
  • https://modelscope.cn/models/damo/cv_manual_face-detection_mtcnn/summary
  • https://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summary
  • https://modelscope.cn/models/damo/cv_ir50_face-recognition_arcface/summary
  • https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary
  • https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary
  • https://modelscope.cn/models/damo/cv_manual_facial-landmark-confidence_flcm/summary
  • https://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summary
  • https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface/summary

更多模型详见 ModelScope 主页。

检测套件开发工具

ModelScope社区视觉检测开发套件AdaDet已发布。

参考文献

  • [1] Ye B, Chang H, Ma B, et al., “Joint feature learning and relation modeling for tracking: A one-stream framework”, in ECCV 2022, pp. 341-357.
  • [2] Cui Y, Jiang C, Wang L, et al., “Mixformer: End-to-end tracking with iterative mixed attention”, in CVPR 2022, pp. 13608-13618.
  • [3] Yan B, Peng H, Fu J, et al., “Learning spatio-temporal transformer for visual tracking”, in ICCV 2021, pp. 10448-10457.
AI记忆
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
基于Transformer的detr目标检测算法.pdf
02-08
DETR（DEtection TRansformer）是一种基于Transformer架构的端到端目标检测模型，其主要流程包括： 1. 特征提取：通过卷积神经网络提取输入图像的特征。 2. Transformer编码器：将特征图输入Transformer编码器，利用自注意力机制和全连接层获取位置的上下文信息。 3. 对象查询：引入特殊的“对象”查询向量，指导模型在每个位置关注的对象类别。 4. 解码器：将Transformer编码器的输出作为解码器的输入，通过多层自注意力计算和全连接层计算生成每个位置的对象特征。 5. 对象匹配：将对象特征与所有可能的目标类别进行匹配，产生候选框和得分。 6. 位置预测：为每个候选框产生精确的位置预测。 DETR简化了目标检测流程，无需使用锚框或非极大值抑制，直接输出目标检测结果
基于Transformer的detr目标检测算法，源码解读
最新发布
02-08
DETR（DEtection TRansformer）是一种基于Transformer架构的端到端目标检测模型，其主要流程包括： 1. 特征提取：通过卷积神经网络提取输入图像的特征。 2. Transformer编码器：将特征图输入Transformer编码器，利用自注意力机制和全连接层获取位置的上下文信息。 3. 对象查询：引入特殊的“对象”查询向量，指导模型在每个位置关注的对象类别。 4. 解码器：将Transformer编码器的输出作为解码器的输入，通过多层自注意力计算和全连接层计算生成每个位置的对象特征。 5. 对象匹配：将对象特征与所有可能的目标类别进行匹配，产生候选框和得分。 6. 位置预测：为每个候选框产生精确的位置预测。 DETR简化了目标检测流程，无需使用锚框或非极大值抑制，直接输出目标检测结果
视频目标跟踪新番 PROCONTEXT: EXPLORING PROGRESSIVE CONTEXT TRANSFORMER FOR TRACKING（阅读笔记）
weixin_45830603的博客
02-05 1143
PROCONTEXT: EXPLORING PROGRESSIVE CONTEXT TRANSFORMER FOR TRACKING（阅读笔记）
基于transformer的开放世界目标检测（论文复现）
11-20
OW-DETR: Open-world Detection Transformer (CVPR 2022) 论文复现代码。
视频一键祛水印/视频目标移除
10-23
ProPainter它融合了图像和特征修复的优势，以及高效的Transformer技术，旨在提供高质量的视频修复效果，同时保持高效性。 ProPainter包含以下功能： 1. 对象去除：能够轻松去除视频中的不需要的对象。 2. 水印删除：可用于删除视频中的水印，提高视觉质量。 3. 视频内容完整性修复：能够修复损坏的视频内容，使其看起来 完整和连贯。 项目整合了Segment-and-Track Anything与ProPainter实现视频一键目标移除与一键祛除水印，这是一个安装包，下载之后直接运行脚本就可以。
yolov5目标检测模型 (融合transformer+已调参优化）
10-29
yolov5口罩检测，此模型已融合了attention机制，best.pt放在主目录下，考虑到训练时间使用的yolov5x，mAp96%左右，能够较高的识别人脸是否佩戴口罩，可以修改损失函数继续进行优化
毕业设计php带源码-OSTrack2019:开源跟踪资源-3个月-2019
06-06
毕业设计php带源码بسم الله الرحمن الرحيم [目录] 欢迎 这是Open Source Track Resources - 3 Months - 2019的非官方存储库Open Source Track Resources - 3 Months - 2019 在此存储库中，您将找到： 讲座资源 幻灯片（适用时） 外部资源链接（包括可用的录音） 演示 实验室 解决方案（部分） Open Source Track - 3 Months 是一项赞助计划，旨在： 为开源社区和埃及大学提供支持 受过高等教育、训练有素的专业开发人员 精心设计和开发的课程和内容 重建新的 IT 专业心态，能够在标准生产级别立即学习新技术和工具（从学生变成专业人士） 轨道大纲 阶段 0 - 准备 数据库基础 Web 开发简介 HTML5 和 CSS3 阶段 1 - 要点 Linux 操作系统 Reh Hat 系统管理（30 小时） Ubuntu 系统管理（24 小时） Ubuntu 系统管理 I 通过介绍关键命令行概念和其他企业工具，为希望成为全职 Linux 系统管理员的学生打下基础。 这些概
目标跟踪~
whaosoft143ai的博客
03-02 2042
单目标跟踪是计算机视觉中一个众所周知且具有挑战性的研究课题。在过去的二十年中，许多研究人员提出了各种算法来解决这个问题，并取得了令人满意的结果。最近，基于Transformer的跟踪方法由于其卓越的跟踪鲁棒性，开创了单目标跟踪的新时代。尽管已经进行了几项综述研究来分析跟踪器的性能，但在单目标跟踪中引入Transformer之后，仍需要进行另一项调查研究。本文旨在分析Transformer跟踪方法的文献和性能。因此对Transformer跟踪方法进行了深入的文献分析，并评估了它们在具有挑战性的基准数据集上的跟
OSTrack论文阅读分享（单目标跟踪）
qq_44799766的博客
06-06 6152
OSTrack论文（尤其是其中的候选消除模块）讲解
Transformers in Single Object Tracking An Experimental Survey（目标跟踪最新综述CVPR2023）学习笔记
qq_43437453的博客
06-07 2313
本文主要介绍了基于Transformer的单目标跟踪方法，对这些方法进行了分类、分析、评估和比较，并提出了未来的研究方向。具体来说，本文介绍了Transformer的基本原理和相关知识，然后介绍了基于CNN-Transformer、One-stream One-stage fully-Transformer、Two-stream Two-stage fully-Transformer等不同架构的跟踪器，并在多个公开数据集上对它们进行了实验评估。
OSTrack视频单目标跟踪
core815的专栏
10-30 838
对于一个输入视频，只需在第一帧图像中用矩形框指定待跟踪目标，单目跟踪算法将在整个视频帧中持续跟踪该目标，输出跟踪目标在所有图像帧中的矩形框信息。
react中使用ProComponents中相关组件问题合集
wl_sqfn的博客
12-28 3019
react中用TS环境使用ProComponents组件问题合集
Vue 3的组合式API中，setup()函数的两个参数：props和context。
lrbfly的博客
05-15 895
参数来获取组件的属性、非响应式属性、插槽和触发事件的方法。函数中访问组件实例、父组件属性、全局属性等。此代码有该AI 助手为您带来的，v信小程序：欢迎评论留言交流学习。对象来使用这些属性。这个参数在Vue 2中是通过。函数在组件初始化期间只会执行一次，并且在。对象提供了一些有用的属性和方法，用于在。对象包含了组件接收的属性。在上面的示例中，我们使用了。函数中通过解构或直接访问。下面是一个示例，展示了。语句返回一个响应式对象。，使其在组件中可用。
React 组件进阶props、组件通讯、跨级通信Context、props属性children、props校验、组件生命周期、render-props模式
七七的博客
11-09 1308
如果两个组件是远方亲戚（比如，嵌套多层）可以使用Context实现组件通讯Context提供了两个组件：Provider 和 ConsumerProvider组件：用来提供数据Consumer组件：用来消费数据意义：组件的生命周期有助于理解组件的运行方式、完成更复杂的组件功能、分析组件错误原因等组件的生命周期：组件从被创建到挂载到页面中运行，再到组件不用时卸载的过程生命周期的每个阶段总是伴随着一些方法调用，这些方法就是生命周期的钩子函数。
Video Tracking--初识
乐兮山南水北的博客
11-05 1031
CREST: Convolutional Residual Learning for Visual Tracking Research Background Given a bounding box annotation in the first frame, developing a tracker that is robust to a variety of challenges is an ...
OSTrack(ECCV22)+NeighborTrack
weixin_44062176的博客
03-05 1970
Tracking任务，SOT
【目标跟踪】|OSTrack
qq_35608277的博客
07-10 6523
ECCV 2022 paper Joint Feature Learning and Relation Modeling for Tracking: A One-Stream Framework之前的跟踪框架都是将特征提取和特征融合分为两步来做的，先分别提取Template和Search的特征，然后在两者之间进行相关，得到的特征用于计算最终的跟踪结果（Two Stream, Two Stage）。这样做存在以下两个缺点：1.特征提取阶段template和search间没有交互，提取到的特征是目标无关的，判别
OSTrack 代码阅读记录
allrubots的博客
03-12 4486
实验记录
transformer单目标跟踪器
08-31
Transformer单目标跟踪器是一种基于Transformer模型的目标跟踪算法。目标跟踪是计算机视觉领域的任务，旨在从视频序列中准确地识别和跟踪特定目标，如行人、车辆等。 传统的目标跟踪方法通常使用基于手工设计的特征提取器和卡尔曼滤波等方法。而Transformer单目标跟踪器则利用Transformer模型的自注意力机制，可以自动学习输入序列中的关键目标特征。 具体来说，Transformer单目标跟踪器将视频序列分解为一系列的图像帧，并将每个帧作为输入序列传入Transformer网络中。通过编码器-解码器结构，Transformer模型可以学习到目标在时间和空间上的动态变化，并输出目标的位置或边界框信息。 相比传统方法，Transformer单目标跟踪器不需要手动提取特征，而是通过自动学习来捕捉目标的上下文信息和运动轨迹。因此，它在处理复杂场景、多目标跟踪等挑战性任务时通常具有更好的性能。 当然，Transformer单目标跟踪器也面临一些挑战，如处理长期依赖、处理目标遮挡等问题。研究者们正在不断改进模型结构和训练算法，以提高Transformer在目标跟踪任务上的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI记忆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值