object tracking论文代码汇总

2d激光雷达

2018

基于 ２Ｄ 激光雷达的行人检测和追踪研究[M]

摘要：２Ｄ 激光雷达是一种在移动 机器人 中 广泛安装 的距离传感器 ， 经常被用 于 同 时 定位和建 图 、 导航和避障任务 中 。 由 于 ２Ｄ 激光 雷达具有 宽 广 的视角 和准确 的 位置感知 ， 近些年来 ， 使用 ２Ｄ 激光雷达进行行人检测 和 行人追踪逐渐成为机器人感知任务中重要研究方向 。人腿检测 被广泛 的认为是行人检测 的 首 要步骤 。 然而 已有方法忽略 雷达点 云 中 不可 回 避 的 噪声 问 题和 多 尺度特性 。 这导致 点 云特征 的不可信 ， 从而影 响 人腿检测 的 效果 。 在 行人追踪任务 中 ， 已有 的 方法仅使用 运动模型来产 生行人位置 下一时刻 的 预测 值 ， 如 ： 卡尔 曼滤波器 。 然而 ， 这些方法忽 略 了 行人交互对位置 的影响 。 不准确 的 预测位置容 易 导致错误 的 行人关联 ， 从而 降低 行人追踪 的 效果 。 针对上 面两个 问 题 ， 本文对基于 ２ Ｄ 激光雷达 的 行人检测 和追踪 方法进行 了 研 究 。首先 ， 在行人检测子任务 中 ， 针对 点 云数据 中 的 异 常值 ， 本文设计 了 简 单有效 的 点 云滤波方法 。 为 了 解决雷达 点 云存 噪声 和 特征 多尺
度特性 问 题 。 本文提 出 了一种 多 尺度 自 适应 随机森林算法 。 其 中 ， 自适应决策树用于解决点云噪声对分类任务造成的影响，多尺度随机森林结构用于学习特征的多尺度特性 。 最后将 高置信度的人腿带约束地进行关联 ， 求解最小 代价 的 匹配完成行人检测 。接着 ， 在行人追踪子任务 中 ， 为了解决基于运动模型 的 行人位置预测 不准 的 问 题 ， 本文引入基于社交信 息 的 行人轨迹预测 模型 ， 并提出了运动与社交模型融合的行人位置预测方法 。 该方法能将预测 的位置融合成为位置概率 图 。 最后 ， 提出了基于位置概率图和局部栅格地图的行人关联策略完成行人追踪。

L-Shape Model Switching-Based Precise Motion Tracking of Moving Vehicles Using Laser Scanners

code: https://github.com/LucasWEIchen/lidar_tracking
摘要：运动物体的检测和跟踪是自动驾驶汽车最重要的功能之一。为了准确地估计运动物体的动态信息，激光扫描仪被广泛地用于其高精度的距离数据。然而，这些数据只代表一个物体面对传感器的表面，并随着时间的推移而改变一个物体的外观。这种变化产生了对估计的动态状态的意外跟踪误差。本文为了最小化由外观变化引起的跟踪误差，提出了一种基于l型模型切换的跟踪算法。在使用精确GPS测量位置、速度和航向角误差时，验证了该算法的有效性。l形跟踪算法成功地减轻了外观变化的影响，提高了估计性能。

2019

Multiple objects detection, tracking and classification from LIDAR scans/point-clouds

code: https://github.com/praveen-palanisamy/multiple-object-tracking-lidar

图像

2010

Multiple Target Tracking in World Coordinate with Single, Minimally Calibrated Camera

摘要： 跟踪多个对象在许多应用程序领域中都是很重要的。我们提出了一种新的多目标跟踪算法，该算法能够在非常具有挑战性的条件下工作，如最小的硬件设备、未校准的单眼相机、遮挡和严重的背景杂波。为了解决这一问题，我们提出了一种新的方法，即联合估计物体轨迹，估计摄像机参考系统中相应的二维/三维时间轨迹，并在一个相干概率公式内估计模型参数（姿态、焦距等）。因为我们的目标是估计稳定和健壮的跟踪可以单独相关的对象id，我们建议在我们的公式中包括一个交互（吸引和排斥）模型，能够建模多个二维/三维轨迹在时空和处理物体相互遮挡的情况。我们使用MCMC粒子滤波算法进行参数推断，并提出了一种解决方案，使准确和有效的跟踪和相机模型估计。使用我们自己的数据集和公开的ETH数据集获得的定性和定量实验结果显示了非常有前途的跟踪和相机估计结果。

2015

Person Tracking and Following with 2D Laser Scanners

code: https://github.com/angusleigh/leg_tracker

摘要：准确地了解机器人周围的人的位置，可以提供丰富、客观和定量的数据，这些数据对广泛的任务非常有用，包括自主的人跟踪。本研究的主要目的是促进开发健壮的、可重复的、可转移的机器人软件，该软件可以自动检测、跟踪和跟踪其环境中的人。这项工作的强烈动机是，在一个智能电动轮椅机器人上需要这种功能，旨在帮助有行动障碍的人。本文提出了一种新的激光数据的鲁棒检测、跟踪和跟踪算法。我们表明，该方法在不同的环境，包括室内和室外，以及在不同的机器人平台（智能电动轮椅和间隙哈士奇）。该方法已在机器人操作系统（ROS）框架中实现，并将以ROS包的形式公开发布。我们还描述并将发布几个数据集，旨在促进类似算法的标准化评估。

2017

PoseTrack: Joint Multi-Person Pose Estimation and Tracking

code: https://github.com/umariqb/posetrack-cvpr2017
摘要： 在本工作中，我们引入了无约束视频中联合多人姿态估计和跟踪的挑战性问题。现有的图像中多人姿态估计方法不能直接应用于这一问题，因为它除了需要对每个人的姿态估计外，还需要解决人随时间的关联问题。因此，我们提出了一种新的方法，联合建模多人姿态估计和跟踪在一个单一的公式。为此，我们用一个时空图来表示视频中的身体关节检测，并求解一个整数线性程序，将该图划分为对应于每个人可信的身体姿态轨迹的子图。所提出的方法隐式地处理人的遮挡和截断。由于这个问题没有在文献中得到定量解决，我们引入了一个具有挑战性的“多人邮政跟踪”数据集，并提出了一个完全无约束的评估协议，该协议不对规模、规模、位置或人数做任何假设。

Real-Time Multiple Object Tracking: A Study on the Importance of Speed

code: https://github.com/samuelmurray/tracking-by-detection

摘要： 多目标跟踪包括对视频中目标的检测和识别。在一些应用程序中，如机器人技术和监视，希望实时执行跟踪。这就带来了一个挑战，因为它要求算法的运行速度与视频的帧率一样快。今天性能最好的跟踪方法只以每秒几帧的速度运行，因此不能实时使用。此外，在确定跟踪器的速度时，通常不包括检测对象所需的时间。我们认为，这种测量速度的方法与机器人技术或嵌入式系统无关，在这些系统中，对物体的检测与跟踪操作是在同一台机器上进行的。我们提出，实时运行一种方法的一种方法是不看每一帧，而是跳过帧，使视频具有与跟踪方法相同的帧率。然而，我们认为这将导致性能下降。

在这个项目中，我们实现了一个遵循逐检测跟踪模式的多目标跟踪器，作为现有方法的扩展。它的工作原理是通过解决过滤问题来建模物体的运动，并使用匈牙利算法将检测与新帧中预测的新位置联系起来。使用了三种不同的相似性度量，它们使用了边界框的位置和形状。与MOTThassaly排行榜上的其他跟踪器相比，我们的方法，称为C++SORT，是最快的非匿名提交，同时在其他指标上也取得了不错的分数。通过在以不同帧率采样的Okutama-Action数据集上运行我们的模型，我们表明，当实时运行模型时，包括检测对象时，性能大大降低了。在大多数指标中，分数降低了50%，但在某些情况下甚至高达90%。我们认为，这表明，其他速度较慢的方法不能用于实时跟踪，但还需要在这方面进行更多的专门研究。

SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC

code: https://github.com/shaoshengsong/DeepSORT

摘要： 简单的在线和实时跟踪（SORT）是一种实用的多目标跟踪方法，重点关注简单、有效的算法。在本文中，我们整合了外观信息来提高SORT的性能。由于这种扩展，我们能够通过更长的遮挡跟踪对象，有效地减少身份开关的数量。本着原始框架的精神，我们将大部分的计算复杂性放在一个离线的训练前阶段，在那里我们在一个大规模的人重新识别数据集上学习一个深度关联度量。在在线应用过程中，我们在视觉外观空间中的最近邻查询建立测量跟踪关联。实验评估表明，我们的扩展减少了45%的身份开关的数量，在高帧率下实现了整体竞争性能。

2018

Pose Flow: Efficient Online Pose Tracking

code: https://github.com/YuliangXiu/PoseFlow

摘要：在无约束视频中，多人关节姿态跟踪是一个重要而具有挑战性的问题。在本文中，我们沿着自上而下的方法，提出了一种基于姿态流的体面而高效的姿态跟踪器。首先，我们设计了一个在线优化框架来建立跨框架姿态和形式姿态流的关联（PF-Builder）。其次，设计了一种新的位姿流非最大抑制方法（PF-NMS），以稳健地减少冗余位姿流，并重新连接时间不相交的位姿流。大量的实验表明，我们的方法在两个标准姿态跟踪数据集（[12]和[8]）上分别显著优于13 mAP 25和6 mAP 3 MOTA的最佳报告结果。此外，在处理单个帧中检测到的姿态的情况下，姿态跟踪器的额外计算非常小，保证了10FPS的在线跟踪。

2019

Towards Real-Time Multi-Object Tracking

code: https://github.com/Zhongdao/Towards-Realtime-MOT

摘要： 现代的多目标跟踪（MOT）系统通常遵循逐检测跟踪的范式。它有1)用于目标定位的检测模型和2)用于数据关联的外观嵌入模型。单独执行这两个模型可能会导致效率问题，因为运行时间只是这两个步骤的总和，而不需要研究它们之间可以共享的潜在结构。现有的实时MOT研究通常集中在关联步骤上，因此它们本质上是实时关联方法，而不是实时MOT系统。在本文中，我们提出了一个MOT系统，允许目标检测和外观嵌入学习在一个共享模型。具体来说，我们将外观嵌入模型合并到一个单镜头检测器中，这样该模型就可以同时输出检测结果和相应的嵌入结果。因此，该系统被表述为一个多任务学习问题：有多个目标，即锚定分类、边界盒回归和嵌入学习；个体损失自动加权。据我们所知，这项工作报告了第一个（接近）实时MOT系统，根据输入分辨率，运行速度为18.8到24.1 FPS。同时，它的跟踪精度与体现单独检测和嵌入（SDE）学习的最先进的跟踪器相当(64.4%的MOTA v.s。MOTA中66.1%的MOTA对MOT-16的挑战)。

Tracking without bells and whistles

摘要： 在一个视频序列中跟踪多个对象的问题提出了几个具有挑战性的任务。对于跟踪旁路检测，这些包括物体重新识别、运动预测和处理遮挡。我们提供了一个跟踪器（没有花哨的功能），它可以完成跟踪，而没有专门针对任何这些任务，特别是，我们没有对跟踪数据进行训练或优化。为此，我们利用目标检测器的边界盒回归来预测目标在下一帧中的位置，从而将检测器转换为跟踪器。我们展示了跟踪器的潜力，并提供了一个新的最先进的三个多目标跟踪基准，通过扩展它与一个直接的重新识别和摄像机运动补偿。

然后，我们对几种最先进的跟踪方法的性能和故障情况进行了分析，并与我们的跟踪器进行了比较。令人惊讶的是，没有一种专门的跟踪方法在处理复杂的跟踪场景方面都能相当好，即小的和被遮挡的物体或缺失的检测。然而，我们的方法解决了大多数简单的跟踪场景。因此，我们将我们的方法作为一种新的跟踪范式，并指出了有前途的未来研究方向。总的来说，跟踪器比目前的任何跟踪方法都具有更好的跟踪性能，我们的分析揭示了剩余的和未解决的跟踪挑战，以激发未来的研究方向。

2020

Monocular person tracking and identification with on-line deep feature selection for person following robots

code: https://github.com/sijanz/robust_people_follower

摘要：本文提出了一种基于单目摄像头的新型人员跟踪和识别框架。在这个框架中，我们首先使用非线性卡尔曼滤波器结合地面平面信息和人体高度估计，在机器人坐标空间中追踪人员。然后，我们通过卷积通道特征（CCF）和在线增强的组合来识别要跟随的目标人物。这使得我们能够利用基于深度神经网络的特征表示，并根据具体情况调整人物分类器以适应特定目标人物。整个系统可以在最近的嵌入式计算板上运行，并且可以轻松地在新的移动机器人平台上复制和重用。通过评估，我们验证了所提出方法相对于移动机器人而言优于现有的人员识别方法。我们将所提出方法应用到一个真实的跟随机器人上，并且已经证明CCF-based person identification能够在室内外环境下实现稳健的跟踪效果。

Person Re-Identification in Human Following Scenarios: An Experience with RGB-D Cameras

code: https://github.com/sijanz/robust_people_follower
摘要：为了获得社会可接受的行为并与人类无缝互动，机器人必须使用健壮的解决方案来识别、跟踪和跟踪在共同环境中相互作用的人。如今的机器人通常都配备了一个摄像头，可以用来进行身体识别和人脸识别。然而，当这个人在环境中移动时，机器人可能会失去对这个个体的跟踪，例如，在角落或障碍物后面。我们报告了我们在设计和实现一个解决方案方面的经验，该解决方案能够跟踪和跟踪目标人员，并可以在后续操作期间视线暂时阻塞时重新识别目标。我们最初的实验强调了所使用的传感器和一个人移动的环境对在实践中可以重新识别一个人的准确性的影响。

2021

Quasi-Dense Similarity Learning for Multiple Object Tracking

code: https://paperswithcode.com/paper/quasi-dense-instance-similarity-learning

摘要： 相似性学习被认为是目标跟踪的关键步骤。然而，现有的多目标跟踪方法只采用稀疏地面真值匹配作为训练目标，而忽略了图像上的大部分信息区域。在本文中，我们提出了准密集相似度学习，它在一对图像上密集采样数百个区域建议以进行对比学习。我们可以直接将这种相似性学习与现有的检测方法相结合，建立准密集跟踪（QDTrack），而不需要转向位移回归或运动先验。我们还发现，所得到的独特特征空间在推理时允许一个简单的最近邻搜索。尽管QDTrack很简单，但它在MOT、BDD100K、Waymo和TAO跟踪基准测试上的性能都优于所有现有的方法。在不使用外部训练数据的情况下，它在MOT17上以20.3 FPS达到68.7 MOTA。与使用类似检测器的方法相比，它提高了近10个MOTA点，并显著减少了BDD100K和Waymo数据集上的ID开关的数量。

2022

ByteTrack: Multi-Object Tracking by Associating Every Detection Box

code: https://github.com/shaoshengsong/DeepSORT

摘要： 多目标跟踪（MOT）的目的是估计视频中物体的边界框和身份。大多数方法是通过关联分数高于阈值的检测盒来获得身份的。检测分数低的物体，如被遮挡的物体，被简单地扔掉，从而带来不可忽视的真实物体缺失和轨迹碎片。为了解决这一问题，我们提出了一种简单、有效、通用的关联方法，通过将几乎每个检测框关联起来，而不是只将高分的检测框进行跟踪。对于低分数的检测框，我们利用它们与轨迹的相似性来恢复真实的对象，并过滤掉背景检测。当应用于9个不同的最先进的跟踪器时，我们的方法可以持续提高了IDF1分数，从1分到10分。为了提出MOT的最新性能，我们设计了一个简单而强大的跟踪器，名为字节跟踪器。这是我们第一次在MOT17测试集上实现了80.3 MOTA，77.3 IDF1和在单个V100 GPU上运行速度为33.1 HOTA。ByteTrack还在MOT20、HiEve和BDD100K跟踪基准上也取得了最先进的性能。

2023

Segment and Track Anything

code：https://github.com/z-x-yang/Segment-and-Track-Anything
摘要：该报告提供了一个名为分割和跟踪任何东西（SAMTrack）的框架，它允许用户精确和有效地分割和跟踪视频中的任何对象。此外，SAM-Track采用了多模态交互方法，使用户能够在视频中选择多个对象进行跟踪，并对应于他们的特定需求。这些交互方法包括点击、笔划和文本，每一种都具有独特的好处，并能够结合使用。因此，SAM-Track可以应用于一系列领域，从无人机技术、自动驾驶、医学成像、增强现实技术到生物分析。SAM-Track将交互式关键帧分割模型（SAM）与我们提出的基于AOT的跟踪模型（DeAOT）合并，该模型在VOT 2022挑战的四个轨道中获得了第一名，以促进视频中的目标跟踪。此外，SAM-Track集成了Grounding-dino，这使框架能够支持基于文本的交互。我们已经展示了SAM-Track在DAVIS-2016 Val（92.0%）、DAVIS-2017测试（79.2%）上的显著能力，以及它在各种应用中的实用性。

Track Anything: Segment Anything Meets Videos

code: https://github.com/gaomingqi/Track-Anything

摘要： 近年来，分割任意模型（SAM）因其对图像分割性能而迅速获得了广泛的关注。由于其较强的图像分割能力和不同提示的高交互性，我们发现其在视频一致性分割效果较差。因此，在本报告中，我们提出了跟踪任何事物模型（TAM），它可以在视频中实现高性能的交互式跟踪和分割。详细地说，给定一个视频序列，只有很少的人类参与，也就是说，几次点击，人们可以跟踪任何他们感兴趣的东西，并在本体推理中得到令人满意的结果。没有额外的训练，这种交互式设计执行的视频对象跟踪和分割令人印象深刻。

SAM-DA: UAV Tracks Anything at Night with SAM-Powered Domain Adaptation

code: https://github.com/vision4robotics/sam-da

摘要: 领域自适应（DA）在实时夜间无人机（UAV）跟踪方面显示出了巨大的前景。然而，最先进的（SOTA）DA仍然缺乏具有精确的像素级位置和边界的潜在对象来生成高质量的目标域训练样本。这一关键问题限制了实时夜间SOTA跟踪器的迁移学习，以挑战夜间无人机跟踪。最近，著名的片段任意事物模型（SAM）由于其巨大的数据驱动的训练方法，在发现大量的潜在目标方面取得了显著的零镜头泛化能力。为了解决上述问题，本工作提出了一种新的sam驱动的实时夜间无人机跟踪DA框架，即SAM-DA。具体来说，设计了一种创新的sam驱动的目标域训练样本膨胀，从每一幅原始夜间图像中确定巨大的高质量的目标域训练样本。这种新的一对一多方法显著扩展了DA的高质量目标域训练样本。对大量夜间无人机视频的综合实验证明了SAM-DA对夜间无人机跟踪的鲁棒性和领域适应性。特别是，与SOTA DA相比，SAM-DA可以用更少的夜间原始图像获得更好的性能，即更少-更好的训练。

Tracking Anything with Decoupled Video Segmentation

code: https://github.com/hkchengrex/Tracking-Anything-with-DEVA

摘要：用于视频分割的训练数据的注释成本很高。这阻碍了将端到端算法扩展到新的视频分割任务，特别是在大词汇量设置中。为了在不对每个单独任务的视频数据进行训练的情况下“跟踪任何东西”，我们开发了一种解耦视频分割方法（DEVA），由具有特定任务的图像级分割和类/任务无关的双向时间传播组成。由于这种设计，我们只需要一个针对目标任务的图像级模型（训练成本更低）和一个通用的时间传播模型，该模型只需要训练一次并跨任务进行推广。为了有效地结合这两个模块，我们使用双向传播对来自不同帧的分割假设进行（半）在线融合，以生成一个一致的分割。结果表明，在一些数据稀缺的任务中，大词汇量视频全景分割、开放世界视频分割、参考视频分割均优于无监督视频目标分割。

JRDB-Pose: A Large-scale Dataset for Multi-Person Pose Estimation and Tracking

摘要： 在人类环境中运行的自主机器人系统必须了解周围环境，以做出准确和安全的决策。在拥挤的人机交互和机器人导航的人体场景中，深入了解周围的人需要通过人体姿态估计和跟踪来对人体运动和身体动力学进行推理。然而，从机器人平台上捕获的现有数据集要么不提供姿态注释，要么不能反映社交机器人的场景分布。在本文中，我们介绍了JRDBPose，一个大规模的数据集和基准的多人姿态估计和跟踪。JRDB-Pose扩展了现有的JRDB，其中包括从大学校园环境中的社交导航机器人捕获的视频，包含具有挑战性的室内和室外场景，以及不同的尺度和遮挡类型。JRDB-Pose提供了具有每个关键点遮挡标签的人体姿态注释，以及在整个场景中与JRDB中现有注释一致的跟踪id。我们对JRDB-Pose上最先进的多人姿态估计和跟踪方法进行了深入的实验研究，表明我们的数据集给现有的方法带来了新的挑战。https://jrdb.erc.monash.edu/

Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking

code: https://github.com/noahcao/OC_SORT

摘要： 基于卡尔曼滤波器（KF）的多目标跟踪（MOT）方法假设目标呈线性移动。虽然这种假设对于非常短的闭塞时间是可以接受的，但对长时间运动的线性估计可能是非常不准确的。此外，当没有测量值可以更新卡尔曼滤波参数时，标准的约定是信任先验状态估计来进行后验更新。这导致了在一段闭塞期间错误的积累。在实际应用中，该误差导致了显著的运动方向差异。在这项工作中，我们证明了一个基本的卡尔曼滤波器仍然可以获得最先进的跟踪性能，如果采取适当的注意来修复在遮挡期间积累的噪声。我们不仅仅依赖于线性状态估计（即以估计为中心的方法），而是使用对象观测（即目标检测器的测量）来计算遮挡周期内的虚拟轨迹，以固定滤波器参数的误差积累。这允许更多的时间步长来纠正在遮挡期间积累的错误。我们将我们的方法命名为以观察为中心的SORT（OC-SORT）。它仍然是简单的、在线的和实时的，但提高了在遮挡和非线性运动时的鲁棒性。给定现成的检测作为输入，OC-SORT在单个CPU上以700+ FPS运行。它在多个数据集上实现了最先进的技术，包括MOT17、MOT20、KITTI、头部跟踪，特别是物体运动高度非线性的舞蹈跟踪。

3D lidar

2017

3D-LIDAR Multi Object Tracking for Autonomous Driving: Multi-target Detection and Tracking under Urban Road Uncertainties

code: https://github.com/PeterZs/3D-LIDAR-Multi-Object-Tracking/tree/main/object_tracking
摘要：自动驾驶汽车的最新进步提高了对可靠的环境感知的需求。这是很明显的，因为自动驾驶汽车必须感知和解释其局部环境，以执行反应性和预测性控制行动。物体跟踪是车辆感知的一个组成部分，因为它使车辆能够估计周围物体的轨迹，从而实现动态运动规划。由于机械紧凑的传感器提供了丰富的、深远的、实时的车辆周围空间信息数据，三维激光雷达已被广泛应用于目标跟踪研究。另一方面，自动驾驶的发展正朝着城市驾驶的方向发展。在城市情况下，由于脆弱道路用户（如行人和骑行者）数量的增加、地形不均、固有的测量不确定性和传感器到达范围有限，需要一种鲁棒的检测和跟踪算法。

本文提出了一个利用面向城市使用的三维激光雷达进行多目标目标检测和跟踪的集成框架。该框架结合了遮挡感知检测方法、概率自适应滤波和基于计算效率的启发式逻辑滤波，以处理由于三维激光雷达的传感限制和目标目标运动的复杂性而产生的不确定性。所实现的框架以原始的三维激光雷达数据作为输入，执行多目标目标检测，同时以鲁棒、因果和实时的方式保持对被检测对象的运动状态和维度的跟踪。

在存在传感器遮挡的情况下，通过基于坡度的去除地面和l形拟合，使感兴趣的物体可靠地将感兴趣的物体包围到边界盒中，从而实现稳健检测。该跟踪器采用三种组合贝叶斯滤波器（IMM-UK-JPDAF），同时解决关联不确定性、运动不确定性，并实时估计非线性随机运动模型。基于对激光雷达传感器的限制和遮挡特性的理解，还设计了基于逻辑的规则滤波器来增强其余的检测和跟踪。

利用真实世界预记录的三维激光雷达数据进行的评估结果表明，该框架可以在城市情况下实现良好的实时跟踪性能。有意选择不同的数据集来评估MOT系统是否能够在不同的驾驶场景中工作。基准结果表明，设计和实现的MOT系统的表现与最先进的作品相当，并在大多数给定的城市环境中产生令人满意的准确性和精度。

2023

Asynchronous State Estimation of Simultaneous Ego-motion Estimation and Multiple Object Tracking for LiDAR-Inertial Odometry

code: https://github.com/StephLin/LIO-SEGMOT
摘要： 我们提出了通过同时自我运动估计和多目标跟踪（LIO-SEGMOT）的激光雷达惯性测程方法，这是一种针对动态环境的基于优化的测程方法。LIO-SEGMOT是一种状态异步更新和目标跟踪的状态估计方法。也就是说，脂段可以在测程系统中保留关键帧选择机制的同时提供连续的目标跟踪结果。同时，设计了一种分层准则来适当地耦合测程和目标跟踪，防止检测不良导致的系统不稳定。在KITTI原始数据集和自收集的新竹数据集的动态环境下，我们比较了脂段与基线模型LIO-SAM，这是一种最先进的LIO方法。前一个实验表明，LIO-SEGMOT在绝对平移和旋转轨迹误差方面，LIO-SEGMOT平均提高了测程精度，分别提高了1.61%和5.41%。后一个实验也表明，LIO-SEGMOT的平均里程测量精度分别提高了6.97%和4.21%。

LIMOT: A Tightly-Coupled System for LiDAR-Inertial Odometry and Multi-Object Tracking

code: https://github.com/tiev-tongji/LIMOT
摘要：同步定位和映射（SLAM）是实现自动驾驶的关键。大多数激光雷达惯性SLAM算法假设一个静态环境，导致在动态环境中不可靠的定位。此外，对运动物体的精确跟踪对自动驾驶车辆的控制和规划具有重要意义。本研究提出了LIMOT，一个紧密耦合的多目标跟踪和激光雷达-惯性测程系统，能够准确地估计自我-车辆和物体的姿态。我们提出了一种基于轨迹的动态特征滤波方法，通过在扫描匹配前利用跟踪结果来过滤出属于运动对象的特征。然后进行基于因子图的优化，以优化IMU的偏差和在滑动窗口中的自我-车辆和周围物体的姿态。在KITTI跟踪数据集和自采集数据集上进行的实验表明，我们的方法比我们之前的工作DL-SLOT和其他基线方法获得了更好的姿态和跟踪精度。

多传感器融合

2021

EagerMOT: 3D Multi-Object Tracking via Sensor Fusion

code: https://github.com/aleksandrkim61/EagerMOT
摘要：多目标跟踪（MOT）使移动机器人能够通过在三维空间和时间中定位周围的物体来执行良好的运动规划和导航。现有的方法依赖于深度传感器（如激光雷达）来检测和跟踪三维空间中的目标，但由于信号的稀疏性，只能达到有限的传感范围。另一方面，相机提供了一个密集和丰富的视觉信号，帮助定位甚至遥远的物体，但只在图像领域。在本文中，我们提出了EagerMOT，一个简单的跟踪公式，它急切地集成了来自两种传感器模式的所有可用的对象观测，以获得对场景动态的知情解释。利用图像，我们可以识别远处进入的物体，而深度估计允许精确的物体在深度感知范围内的轨迹定位。通过EagerMOT，我们在KITTI和NuScenes数据集上的几个MOT任务上实现了最先进的结果。

DFR-FastMOT: Detection Failure Resistant Tracker for Fast Multi-Object Tracking Based on Sensor Fusion

code: https://github.com/aleksandrkim61/EagerMOT
摘要： 多目标跟踪（MOT）使移动机器人能够通过在三维空间和时间中定位周围的物体，执行明智的运动规划和导航。现有的方法依赖于深度传感器（如激光雷达）来在三维空间中检测和跟踪目标，但由于信号的稀疏性，只能达到有限的感知范围。另一方面，相机提供了一个密集和丰富的视觉信号，帮助定位甚至遥远的物体，但只在图像领域。在本文中，我们提出了EagerMOT，一个简单的跟踪公式，它急切地集成了来自两种传感器模式的所有可用的对象观测，以获得对场景动态的知情解释。利用图像，我们可以识别远处进入的物体，而深度估计允许精确的物体在深度感知范围内的轨迹定位。通过EagerMOT，我们在KITTI和NuScenes数据集上的几个MOT任务上实现了最先进的结果。

2023

DFR-FastMOT: Detection Failure Resistant Tracker for Fast Multi-Object Tracking Based on Sensor Fusion

code: https://github.com/MohamedNagyMostafa/DFR-FastMOT

摘要： 持久性多目标跟踪（MOT）允许自动驾驶车辆在高度动态的环境中安全导航。MOT中一个众所周知的挑战是当对象对后续帧不观察时的对象遮挡。目前的MOT方法将对象信息存储在内存中，如对象的轨迹，以恢复遮挡后的对象。然而，它们保留了短期内存，以节省计算时间，并避免减缓MOT方法的速度。因此，在某些遮挡情况下，它们失去了对物体的跟踪，特别是长情况。在本文中，我们提出了DFR-FastMOT，这是一种光MOT方法，它使用了来自相机和激光雷达传感器的数据，并依赖于对象关联和融合的代数公式。该公式增加了计算时间，并允许长期记忆，以处理更多的遮挡场景。我们的方法在最近的学习基准和非学习基准上显示出了出色的跟踪性能，在MOT A中的利润率分别约为3%和4%。此外，我们还进行了广泛的实验，通过使用不同的失真水平的探测器来模拟遮挡现象。所提出的解决方案使在不同的失真水平下的检测性能优于目前最先进的方法。我们的框架在1.48秒内处理了大约7763帧，比最近的基准测试快7倍。

机器人开源项目

• https://github.com/koide3/monocular_person_following
• https://github.com/sijanz/robust_people_follower
• https://github.com/spencer-project/spencer_people_tracking

参考

https://github.com/open-mmlab/mmtracking