MOTRv2: Bootstrapping End-to-End Multi-Object Tracking by Pretrained Object Detectors 论文学习记录

已于 2023-09-12 21:37:03 修改
阅读量510 收藏 5
点赞数 1
文章标签： 学习
于 2023-09-08 11:13:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dan_Ao/article/details/132670667
版权

MOTRv2: Bootstrapping End-to-End Multi-Object Tracking by Pretrained Object Detectors 论文学习记录

官方仓库地址：https://github.com/megvii-research/MOTRv2
论文下载地址：https://arxiv.org/pdf/2211.09791

前置知识

  • MOTR： a fully end-to-end framework is introduced for MOT.
  • 计算机视觉 深度学习 多目标跟踪评价指标总结：
    在这里插入图片描述
  • 注意力机制：让网络注意到该注意的地方。(空间注意力机制、通道注意力机制)【https://www.bilibili.com/video/BV1rL4y1n7p3/?p=2&spm_id_from=pageDriver&vd_source=be08cd9cc4a3d6f3fec83590352fca21】

DETR

YOLOX不是End-to-End,因为他有前处理（Anchor）以及后处理（NMS）
而DETR 不用Anchor 也不用 NMS

Deformable DETR

前前置知识：

可变形卷积

在这里插入图片描述
思想： 标准卷积的感受野是固定的，可变形卷积的感受野会改变，能够更加适配地找到要观测的目标

研究背景

DETR有缺点：慢（Transformer 注意力机制限制）、小目标检测难
在这里插入图片描述
在这里插入图片描述
deformable convolution 和 Transformer结合是解决DETR难题的核心点。
可变形注意力机制模块
特征空间对齐问题
reference point：坐标

MOTR

轨迹预测
是在DETR的基础上进行扩展和改进的，MOTR在DETR的基础上，将MOT问题形式化为一系列序列预测问题，并通过跟踪查询来实现序列预测[

Transformer

【Transformer模型】曼妙动画轻松学，形象比喻贼好记
Transformer是干啥的？ 能够更加整体的提取特征，考虑的更加全局一些。

读论文

总结

Q1 论文试图解决什么问题？

  • One major limitation of the end-to-end multiple-object tracking frameworks is their poor detection performance, compared to tracking-by detection approaches [6, 44] that rely on standalone object detectors.
  • 相对于联合学习检测和关联任务而言，MOTR 的检测性能较差。
  • Easing the conflict between the detection and association tasks in the shared transformer decoder.

Q2 这是否是一个新的问题？

不是一个新问题，他是MOTR的改进

Q3 这篇文章要验证一个什么科学假设？

当加上yolox作为辅助的判断器后，MOTR处理能力更强了。

Q4 有哪些相关研究？如何归类？谁是这一课题在领域内值得关注的研究员？

  • 相关研究有很多，就比如Comparison table的这些个方法：
    在这里插入图片描述
  • 归类->多目标跟踪
  • 值得关注的研究员：
    在这里插入图片描述

Q5 论文中提到的解决方案之关键是什么？（消融实验是证据）（Discussion有总结）

ablation:

Using YOLOX predictions as proposal queries consistently improves all three metrics (HOTA, DetA, and AssA) regardless of whether the CrowdHuman dataset is used.
Using the anchor boxes instead of points is not only critical for introducing YOLOX detection results but also sufficient for providing the MOTR decoder with localization information.(conclusion: width and height information is critical)
The confidence score provides important information for MOTR.
using sine-cosine encoding works better for the association.
Aligning anchors with the corresponding YOLOX proposals mitigates the accumulation of localization errors during anchor propagation, thereby improving both detection and association accuracy

Summary:

YOLOX generates high-quality object proposals that help MOTR detect new objects more easily.

Q6 论文中的实验是如何设计的？(主要看第四部分的Experiments)

  1. Datasets We use the DanceTrack , MOT17 and BDD100K datasets to evaluate our approach.
  2. The YOLOX detector is trained on 8 Tesla V100 GPUs for 16 epochs. 作者就把这个东西当成 Proposal Generator，然后就能给MOTR给出建议
  3. MOTR的实现是基于官方仓库 + ResNet50的backbone用来特征提取。

Q7 用于定量评估的数据集是什么？代码有没有开源？

  • Datasets We use the DanceTrack [27], MOT17 [15, 21] and BDD100K [42] datasets to evaluate our approach.
  • 代码开源，地址为：https://github.com/megvii-research/MOTRv2

Q8 论文中的实验及结果有没有很好地支持需要验证的科学假设？

在这里插入图片描述
Performance comparison between MOTR (grey bar) and MOTRv2 (orange bar) on the DanceTrack and BDD100K datasets. MOTRv2 improves the performance of MOTR by a large margin under different scenarios.

以及，
4.3. State-of-the-art Comparison on DanceTrack
4.4. State-of-the-art Comparison on BDD100K
4.5. Comparison on the MOTChallenge

Q9 这篇论文到底有什么贡献？

MOTRv2 breaks through the common belief that end-to-end frameworks are not suitable for high- performance MOT and explains why previous end-to-end MOT frameworks have failed. We hope it can provide some new insights on end-to-end MOT for the community.
简言之：以前的MOTR框架或类似框架性能不高，这个MOTRv2处理MOT数据的性能高了点。

Q10 下一步呢？有什么工作可以继续深入？（Limitations里面）

  1. Although using the YOLOX proposals greatly ease the optimization problem of MOTR, the pro-posed method is still data-hungry and does not perform well enough on smaller datasets.
    所以可以进一步对小数据集问题进行优化。
    Solution: 将原始图片旋转一个小角度、添加随机噪声。。。

  2. 行人重叠问题，两个人重叠的时候，其中一个人的track query会停止，就好像直接并入到了另一个人的轨迹当中。
    This observation could serve as a valuable hint for potential enhancements in the future.

  3. 效率问题，并且瓶颈在MOTR的效率上。
    the YOLOX [11] detectorruns at 25 FPS while MOTR runs at 9.5 FPS on 2080Ti.Adding these two components yields a speed of 6.9 FPS.

Q11 代码解读

Q12 消融实验是什么？

ablation study往往是在论文最终提出的模型上，减少一些改进特征（如减少几层网络等），以验证相应改进特征的必要性。（奥卡姆剃刀）
并且能够证明他里面的trick其实是起到了关键的作用

Q13 Proposal Query是干什么的？怎么来的？

我理解的是：一张图片里面有很多的目标，然后YOLOX可以把他们检测出来，检测出来的提议框们组成了一个队列，这个队列就是Proposal Query

Q14 MOTR是用来干什么的？

我理解的是：MOTR他是用来轨迹跟踪的，核心业务是预测视频当中所有物体的轨迹。

网络总体结构

在这里插入图片描述
MOTRv2由两部分组成：

  • 高水平的Object detector
  • 被修改的基于MOTR的tracker
叮当蛙
关注
CVPR 2023 | 旷视研究院入选论文亮点解读
旷视开发者技术社区
03-21 3838
近日，CVPR 2023 论文接收结果出炉。近年来，CVPR 的投稿数量持续增加，今年收到有效投稿 9155 篇，和 CVPR 2022 相比增加 12%，创历史新高。最终，大会收录论文 2360 篇，接收率为 25.78 %。本次，旷视研究院有 13 篇论文入选，涵盖3D 目标检测、多目标跟踪、模型压缩、知识蒸馏等多个领域。以下为入选论文简介 ：????01VoxelNeXt:Fully Sparse...
CVPR 2017论文集锦（论文分类）—— 附录部分翻译
热门推荐
dengheCSDN的博客
08-23 2万+
作为计算机视觉领域的三大顶级会议之一，CVPR 2017 又收录了很多优秀的文章。具体可参见 CVPR 的论文官网：http://www.cvpapers.com/cvpr2017.html        Machine Learning 1 （机器学习） Spotlight 1-1A  （关注的焦点 1-1 A） Exclusivity-Consistency Regular
图像 跟踪 - MOTRv2: Bootstrapping End-to-End Multi-Object Tracking by Pretrained Object ... (CVPR 2023)
77wpa的博客
08-06 1705
在本文中，我们提出了MOTRv2，这是一种简单而有效的管道，用于使用预训练的目标检测器引导端到端多目标跟踪。现有的端到端方法，如MOTR[43]和TrackFormer[20]，主要由于其较差的检测性能而不如检测再跟踪的对手。我们的目标是通过优雅地加入一个额外的目标检测器来提高MOTR。我们首先采用查询的锚点公式，然后使用额外的目标检测器生成建议作为锚点，在MOTR之前提供检测。简单的修改大大缓解了MOTR中联合学习检测和关联任务之间的冲突。MOTRv2保持了查询传播功能，并在大规模基准测试上扩展良好。
MOTRv2论文阅读总结
weixin_45429415的博客
02-26 1493
在MOTR的基础上加入了额外的目标检测器，把锚点query作为detect query的先验。
最新冠军方案开源 | MOTRv2：YOLOX与MOTR合力打造最强多目标跟踪！（旷视&上交）...
CV_Autobot的博客
12-01 3004
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【目标跟踪】技术交流群后台回复【目标跟踪综述】获取单目标、多目标、基于学习方法的领域综述！代码开源：https://github.com/megvii-research/MOTRv2摘要 在本文中，作者提出了MOTRv2，一个简单而有效的pipline，通过预训练的目标检测器引导端到端的多目标跟踪。现有的端到端...
CVPR2023 多目标跟踪（MOT）汇总
藏晖的博客
06-24 1万+
识别、定位和跟踪场景中的动态物体的能力是许多现实世界的应用程序的基础，如自动驾驶和机器人系统。然而，传统的多重对象跟踪（MOT）基准测试只依赖于少数对象类别，这些类别很难代表在现实世界中遇到的大量可能的对象。这使得当代的MOT方法仅限于一组预定义的对象类别。在本文中，我们通过解决一个新的任务，即开放词汇表MOT来解决这一限制，该任务旨在评估在预定义的训练类别之外的跟踪。我们进一步开发了OVTrack，这是一个能够跟踪任意对象类的开放词汇表跟踪器。
（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）
Jojo论文基地
08-28 3288
CVPR 2017 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7250
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
旷视研究院获得第一届DanceTrack挑战赛冠军
旷视开发者技术社区
10-25 912
多目标跟踪和分割任务是指在视频中定位和关联感兴趣的目标，是视频内容理解和人机交互等许多应用中的基础技术。现有的计算机视觉系统在简单场景中取得了良好的跟踪和分割性能，但是在复杂环境中表现一般。为了提升计算机视觉系统在复杂环境中的性能，复杂环境中的多目标跟踪和分割 Workshop（Multiple Object Tracking and Segmentation in Complex Environ...
MOTR: End-to-End Multiple-Object Tracking with Transformer 详细解读
ZauberC的博客
05-03 4459
一篇MOT领域基于Transformer的工作，是第一个真正严格意义上端到端的多目标跟踪框架，超越了此前的TransTrack和TrackFormer等工作。后续的GTR也借鉴了此算法。
MOTR解读
周先森爱吃素的博客
05-18 4191
本文解读MOT领域的一个新方法MOTR: End-to-End Multiple-Object Tracking with TRansformer，这是第一个真正意义上端到端的多目标跟踪框架。
地磁传感器（学习笔记下）
Gaorui678的博客
10-26 487
读到后的值，最终传入t_sQMC5883L定义的结构体,注意一下这里面的mag_reg数据变量，定义的时候是16位的3个元素，在读寄存器的时候，强制为8位指针变量，读6个字节。然后我们再写一个计算方位角的函数，使用磁力值计算方位角，最简单的方式，只需要一个公式。咱们接着学习笔记上来学习哈，首先，我们编写读取方位角程序，配置好传感器以后，我们就可以读取磁力值了，我们先定义一个结构体类型，用来存放磁力值以及方位角值。在主函数中，qmc5883l初始化以后，每间隔1秒钟计算1次方位角值，然后通过串口发送到终端。
Flink CDC系列之：学习理解standalone模式
zhengzaifeidelushang的博客
10-28 656
独立模式是 Flink 最简单的部署模式。本简短指南将向您展示如何下载、安装和运行 Flink 的最新稳定版本。您还将运行一个示例 Flink CDC 作业并在 Web UI 中查看它。
人工智能入门要学习多久？
最新发布
cd_farsight的博客
10-31 216
人工智能是一个快速发展的领域，新的技术和算法不断涌现。这可能需要你定期投入时间，比如每月至少花费几个小时来跟踪最新的研究和发展。如果你是计算机科学或相关专业的学生，或者对计算机科学有较深的兴趣，可能能更快地掌握。实践项目的时间可以因项目的复杂性和范围而异，通常需要几个月的时间来完成。学习人工智能所需的时间可以根据个人的学习速度、目标和深度有所不同。这通常需要几个月的时间，具体取决于个人的数学背景。：Python是进行人工智能学习的主要语言，建议从基础开始学习，这也是一个月左右的时间可以掌握。
【我的 PWN 学习手札】setcontext + ROP
Mr_Fmnwon的博客
10-28 802
setcontext的gadget能够“恢复上下文”，即设置寄存器的值。除了可以利用其执行shellcode，还可以实现ROP来getshell。本篇介绍了利用setcontext+ROP的方法，ORW地打印flag信息。
SAP ABAP开发学习——第三代增强（BADI)
m0_64077397的博客
10-31 533
打完断点，新开窗口执行VA01，自动跳进debug界面。通过REPORT工具查询。
【模型学习之路】手写+分析Transformer
wwl412095144的博客
10-29 1072
attention is all you need!
快速入门并学习uni-app
Zhao_0912的博客
10-31 467
的开发技能，并能够高效地开发跨平台应用。记住，实践是最好的老师，不断动手实践是学习的关键。通过以上步骤，你可以逐步掌握。
组队学习专用——task05
m0_73164476的博客
10-29 538
等待。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值