CVPR2022《Global Tracking Transformers》

已于 2024-04-13 22:58:29 修改
阅读量726 收藏 15
点赞数 11
文章标签： 算法 目标跟踪 目标检测
于 2024-04-11 21:12:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45828825/article/details/137652073
版权

论文：Zhou_Global_Tracking_Transformers_CVPR_2022_paper.pdf (thecvf.com)icon-default.png?t=N7T8https://openaccess.thecvf.com/content/CVPR2022/papers/Zhou_Global_Tracking_Transformers_CVPR_2022_paper.pdf

代码：GitHub - xingyizhou/GTR: Global Tracking Transformers, CVPR 2022icon-default.png?t=N7T8https://github.com/xingyizhou/GTR

一、摘要

        本文提出了一种新的基于Transformer的全局多目标跟踪体系架构。该网络以视频短序列作为输入，为所有对象生成全局轨迹；其核心组件是一个全局跟踪转换器，它对序列中所有帧中的对象进行操作。Transformer会对所有帧中的对象特征进行编码，并使用轨迹查询将它们分组到轨迹中。轨迹查询是来自单个帧的对象特征，会自然地产生唯一的轨迹。GTR (Global Tracking Transformers) 不需要中间的成对分组或组合关联，并且可以与目标检测器联合训练。它在流行的MOT17基准上取得了具有良好的表现，在该数据集上GTR的表现为：MOTA：75.3，HOTA：59.1。更重要的是，GTR的框架直接集成到最先进的SOTA检测器中，以跟踪任何对象。在具有挑战性的TAO数据集上，GTR的框架在基于成对关联的基线上持续改进，比已发表的算法的mAP要显著高出7.7个点。

二、Motivation

1、Tracking-by-detection的MOT范式

        该范式将跟踪分为检测和关联两个步骤：

  • 检测：通过目标检测器独立地在视频流的每一帧中发现所有的潜在对象。
  • 关联：通过时间关系和目标的外观特征将检测结果和轨迹关联起来。

 2、存在的问题

        在关联过程中，局部跟踪器主要以直接的方式考虑两两关联（pairwise associations）。它们根据位置和/或身份特征来维护每个轨迹的状态，根据上一帧的目标状态将当前帧的检测结果与其相应的轨迹关联匹配起来，以形成目标的轨迹。虽然这种成对的关联是有效的，但缺乏一个明确的轨迹模型作为一个整体，而且在严重闭塞或目标发生强烈的外观变化的情况下关联轨迹时会发生冲突。GTR在成对关联上运行基于图的离线组合优化，这可以解决分组不一致的检测，并且是系统更具鲁棒性，但速度较慢，并且通常与检测器分离。简单来说，局部跟踪器是逐帧关联目标和轨迹的，GTR是考虑了所有帧的信息来关联目标的轨迹的。

图1 局部跟踪器(上)与全局跟踪器(下)。本地跟踪器逐帧关联对象，可选择使用外部跟踪状态内存(图中未显示)。局跟踪器将一个短视频作为输入，并使用全局对象查询将所有帧中的对象关联起来。

三、创新点

  1. 提出了GTR的目标跟踪方法且端到端可训练            

    与之前的MOT范式不同，该方法会关注到目标的全局信息，并以此为依据生成目标的轨迹，避免了frame by frame检测会出现遮挡的问题，、；网络直接输出轨迹，从而避免了两两关联和基于图的优化；使用Roi feature作为query，使得query能以物体特征相关，而不局限于特定的位置。

  2. 证实了检测器可以通过Transformers层增强，变成联合检测器和跟踪器。
  3. 实现的新的SOTA

四、网络架构

1、网络结构

 

图2 联合检测和跟踪框架概述。对象检测器首先独立地检测所有帧中的对象。对象特征被连接并馈送到GTR的编码器中。GTR将轨迹查询作为解码器输入，并生成每个查询和对象之间的关联分数。关联矩阵为每个查询链接对象。在测试期间，轨迹查询是最后一帧中的对象特征。GTR的结构如图3所示。

 

图3 左图：GTR详细的网络架构。右图Self-Att和Cross-Att的详细结构。为简单起见，我们在图中省略了多头。对于Self-Att，q = k = f。对于Cross-Att，q = q， k = f。我们在括号中列出数据维度。×表示矩阵乘法(需要时进行转置)。 

2、实现细节

 （1）概述

        GTR对来自多个连续帧的检测进行编码，并使用轨迹查询将它们分组为轨迹。查询是在NMS后根据单个帧的目标的检测特征进行的，并由GTR转换为轨迹。每个轨迹查询通过使用softmax分布分配，使得每个帧的检测产生单个全局轨迹。因此，GTR的输出是检测结果及其在时间上的关联结果。

        GTR在一个时间窗口内对轨迹查询和目标特征做Cross-Att，并监督它为每一个检测结果生成匹配结果的过程（query-to-detection assignment），每一次的query-to-detections  assignment直接对应于一个全局轨迹。与将查询作为固定参数学习的基于Transformer的检测器不同，GTR的查询来自现有的检测特征并适应图像内容。 且在该算法中Transformer是对检测到的目标进行操作的而不是原始像素进行操作的，这使GTR能够充分利用发达的目标探测器。

（2）Other

  • 查询和编码器特征之间的Cross-Att结构挖掘了对象之间的相似性，更适合多目标跟踪中的关联目标。
  • 第一帧的检测结果全部初始化为初始轨迹
  • 损失函数构成

不会CV@
关注
Global Tracking Transformers (多目标跟踪2022CVPR)
qq_39821101的博客
04-05 5482
Global Tracking Transformers 论文地址：https://arxiv.org/abs/2203.13250 代码： 目录Global Tracking Transformers摘要1、介绍2、相关工作 摘要 我们网络以短序列帧作为输入并生成目标的全局轨迹。核心组件是一个全局跟踪Transformer，它对序列中所有帧的对象进行操作。它对所有帧中的目标特征进行编码，并使用轨迹查询将其分组为轨迹。轨迹查询是来自单帧的目标特征。我们全局跟踪器不需要中间成对分组或组合关联，并且可以与对象检
CVPR2022多目标跟踪领域论文阅读总结及笔记
qq_39821101的博客
10-09 2466
多目标跟踪论文 CVPR2021: 1、Track to Detect and Segment: An Online Multi-Object Tracker【TraDeS代码】 2、 Learning a Proposal Classifier for Multiple Object Tracking(用于多对象跟踪的分类器)【LPC_MOT代码】 3、Online Multiple Object Tracking with Cross-Task Synergy(具有跨任务协同作用的在线多对象跟踪)【TA
Global Tracking Transformers
genggengdebaonei的博客
03-26 504
四.在推理过程中，文中是以当前帧中的目标特征作为trajectory query来生成全局轨迹的(在训练过程中query是变化的，是以全部的帧的目标特征作为trajectory query进行训练的。（PA是对关联得分进行了一个sofemax操作，并不影响得分大小，它的作用是让大的值相对更大，小的值相更小）旧轨迹的消失：我们根据轨迹关联分数的最大值和box-trajectory IoU来关联tracks。新轨迹的产生：（接上段）如果与任何先前轨迹的平均关联分数低于阈值θ，就开始新的track。
【论文速递】CVPR2022 - 全局跟踪Transformers
Never_moresf的博客
01-16 1093
本文提出一种新的基于transformer的全局多目标跟踪体系结构。该网络以短时间的帧序列作为输入，并为所有object产生全局轨迹。其核心组件是global track transoformer，它对序列中所有帧的object进行操作。transformer对所有帧中的对象特征进行编码，并使用 trajectory queries将它们分组为轨迹。trajectory queries是来自单个帧的object特征，自然会产生独特的轨迹。
Global Tracking Transformers 详细解读
ZauberC的博客
04-14 4622
介绍 相关工作 Preliminarie Global tracking transformers 4.1 Tracking transformers 公式推导以及相关定义说明： 一系列高score的目标 in image I： 相应的bbox： 从bbox中提取的D-dimentional feature: a set of all detection features of image I: Ft={f1t,…,fNtt} F^{t} = \left \{ f_{1}^{t},\dots ,
CVPR 2022 论文列表（持续更新）
gbstack08的专栏
03-05 1万+
本文包括论文链接及代码 关注公众号：AI基地，及时获取最新资讯，学习资料 GitHub链接：GitHub - gbstack/cvpr-2022-papers: CVPR 2022 papers with code 因为CSDN的markdown编辑器限制，文本多了保存会卡死。大家尽量到上面的GitHub链接去看吧。 CVPR2022 Papers (Papers/Codes/Demos) 分类目录： 1. 检测 2. 分割(Segmentation) 3. 图像处理(Image Pro
CVPR2022论文集锦 | CVPR2022最新论文 | CVPR2022审稿结果 | CVPR2022录取结果
中科院AI算法工程师的博客
10-09 4862
持续更新Github： https://github.com/Sophia-11/Awesome-CVPR-Paper CVPR2022还没有公布，公布后会即使更新 2021持续论文集锦百度云请在【计算机视觉联盟】后台回复 CVPR2021 往年论文集锦请在【计算机视觉联盟】后台回复 CVPR2019 2020持续论文集锦请在【计算机视觉联盟】后台回复 CVPR2020 CVPR 2021 Image-to-image Translation via Hierarchical Styl...
2022CVPR目标跟踪最新论文
qq_39821101的博客
05-03 5341
多目标跟踪领域最新论文概况 多目标跟踪多目标跟踪领域最新论文概况一、2022年多目标跟踪论文CVPR2022:1、Global Tracking Transformers2、Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking3、Unified Transformer Tracker for Object Tracking4、TR-MOT: Multi-Object Tracking by Reference5、
【论文速递】CVPR2022 : 用于目标跟踪的统一transformer跟踪器
Never_moresf的博客
01-29 1562
我们提出了一种统一的方法，称为 Unicorn，它可以使用相同的模型参数同时解决四个跟踪问题（SOT、MOT、VOS、MOTS）。由于目标跟踪问题本身的碎片定义，大多数现有的跟踪器被开发用于解决单个或部分任务，并对特定任务的特征进行过度优化。相比之下，Unicorn提供了一个统一的解决方案，在所有跟踪任务中采用相同的输入、主干、嵌入和头部。这是第一次完成了跟踪网络架构和学习范式的巨大统一。
多目标追踪——【Transformer】Global Transformer Tracking
qq_42312574的博客
11-05 2455
当前多目标追踪大多遵循了Tracking-by-detection范式完成跟踪任务。Tracking-by-detection范式将追踪任务分为两步完成：目标检测与数据关联。这样的解决思路也使得当前许多Tracking-by-detection的追踪器将关注点放到了。上图为Tracker的总体网络结构，包括了目标检测和追踪。今天西安天气很好，枫叶谷！这部分公式比较多，详见。
CVPR-2021- TransT: Transformer Tracking 阅读笔记
菜菜子hoho的博客
12-25 6298
论文地址： https://arxiv.org/abs/2103.15436 代码地址： https://github.com/chenxindlut/TransT 目录一、 动机二、 主要贡献三、 主要内容1、什么是Transformer ？2、TransT网络架构：① Feature Extraction.② Feature Extraction.Ego-Context Augment and Cross-Feature Augment Modules自我上下文增强模块和交叉特征增强模块A、 Multi
Transformer Tracking学习笔记
qq_41439608的博客
05-06 2099
Transformer Tracking 一、贡献 提出了一种新的Transformer跟踪框架，包括特征提取、基于Transformer的特征融合网络和预测头模块。 基于具有自我注意的自我上下文增强模块和具有交叉注意的交叉特征增强模块开发了特征融合网络。与基于相关的特征融合相比，我们的注意力融合方法自适应地聚焦于边缘和相似目标等有用信息，并在距离较远的特征之间建立关联，使跟踪器获得更好的分类和回归结果。 二、网络框架 在这里我将就整个框架进行介绍： 首先特征提取我们修改了ResNet50网络结构，具
CVPR2022 多目标跟踪（MOT）汇总
热门推荐
藏晖的博客
04-26 1万+
CVPR2022 MOT文章汇总
[VOT7](2022CVPR) GTELT：Global Tracking via Ensemble of Local Trackers
m0_37412775的博客
05-05 4698
Abstract 背景：长期跟踪的难点在于目标离开视线或被遮挡引起的不连续运动。 现存方法：现存的长期跟踪方法有2种策略：1）使用局部跟踪器执行平滑的跟踪并在目标丢失时使用其他的重检测器检测目标，这样的方法可以探索类似目标历史外观和定位的时域上下文信息，但其局部跟踪器可能被相近的干扰物误导，使得在目标丢失时没有激活重检测器；2）在整张图像中追踪目标而不是基于先前帧的追踪结果执行局部追踪，但这些样的全局追踪无法有效利用时域上下文。 本文做法：联合了以上2种策略的优势，在全局中追踪目标并探索时域上下文。具体地，
2022多目标跟踪论文阅读总结
DCGJ666的博客
10-06 1505
为了缓解检测噪声，提出了一种新的特征存储和更新策略EMA bank,以同时保持不同的特征转态和特征变化的信息。成对的关联是有效的，但是缺乏一下明确的整体轨迹模型，有时会与严重的遮挡或强烈的外观变化导致失败。，提出了一种在线时间自适应卷积的方法，利用时间信息，通过根据前一帧动态校准卷积权值来增强空间特征。首先对检测图和轨迹图进行匹配，图的匹配问题是使匹配的顶点与由这些顶点连接的对应边之间的相似性最大化。2.相似性映射的细化。：最大化所有匹配顶点之间的顶点亲和度，并最小化所有匹配边之间的边权值的差异。
目标跟踪论文整理（不全，以单目标为主）
m0_37412775的博客
03-28 4232
目标跟踪论文整理2022 CVPR2021 ICCV 2022 CVPR Global Tracking Transformers paper: https://arxiv.org/abs/2203.13250 code: https://github.com/xingyizhou/GTR Transforming Model Prediction for Tracking paper: https://arxiv.org/abs/2203.11192 code: https://github.com/vi
【开源】Transformer 在CV领域全面开花：新出跟踪、分割、配准等总结
我爱计算机视觉
05-14 1425
本文收录 5 月 以来值得关注的 Transformer 相关开源论文，包括基于 Transformer 的自监督学习方法在 CV 任务中应用、视觉跟踪、视频预测、语义分割、图像配准，以及...
PCA（主成分分析）算法的应用场景
最新发布
huanfeng_AI的博客
11-09 397
需要注意的是，PCA并不适用于所有场景。例如，当数据之间存在非线性关系时，PCA可能无法完全揭示数据的内在结构。此外，PCA对初始变量的顺序和标签敏感，不同的变量顺序可能导致不同的主成分结果。因此，在选择数据分析方法时，需要根据具体的数据和任务需求来决定是否使用PCA。
PytorchAutoDrive: CVPR2022车道线检测的曲线建模与代码解析
资源摘要信息:"车道线检测 CVPR2022 PytorchAutoDrive: 源代码" 车道线检测是计算机视觉和自动驾驶领域的重要研究课题之一，它涉及到图像处理、模式识别和机器学习等多个交叉学科的知识。CVPR（Conference on ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值