3D目标跟踪学习笔记

最新推荐文章于 2024-07-24 20:18:16 发布

AI算法网奇

最新推荐文章于 2024-07-24 20:18:16 发布

阅读量496

点赞数

分类专栏： 3D视觉文章标签：目标跟踪学习人工智能

原文链接：https://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247604295&idx=2&sn=b6b5e7cc11d5e3a3765807559f4921fe&chksm=fbfd7373cc8afa657a85d008bfa5ceb153cd89e71e6

版权

3D视觉专栏收录该内容

104 篇文章 26 订阅

订阅专栏

Poly-MOT跟踪 IROS2023

3d点云跟踪 3D Siamese Tracking

2.1 Motion-Centric paradigm(运动估计范式)

Poly-MOT跟踪 IROS2023

IROS'23开源,nuScenes跟踪第一!无需学习的超强多目标跟踪！ - 知乎

3d点云跟踪 3D Siamese Tracking

3D Siamese Tracking

借鉴了2D目标跟踪的SiameseFC的思想，通过孪生网络来对目标和候选区域的点云提取特征，并计算相似度
与2D目标跟踪的相关卷积类似，3D Siamese计算的是特征的余弦相似度（相关卷积可以理解为2D的余弦相似度）
与2D目标跟踪不同的是，它需要先有3D检测结果，而不能通过先前帧的结果在新的点云上直接输出3D框，相当于只是做匹配。

Open3DSOT CVPR 2022

论文地址：https://arxiv.org/abs/2203.01730

代码开源: https://github.com/Ghostish/Open3DSOT

论文名称：

Beyond 3D Siamese Tracking: A Motion-Centric Paradigm for 3D Single Object Tracking in Point Clouds

与提出BAT算法的是同一团队，BAT算法的解析可见：https://zhuanlan.zhihu.com/p/431290966

1、Motivation

目前在3D单目标跟踪领域，大多数方法使用的都是appearence matching(外观匹配)的方式进行跟踪，这种方法非常依赖于模板和搜索区域点云的特征。在KITTI数据集上，apperaence matching的方法，比如BAT、P2B等，都取得了非常良好的效果，但是作者认为这是因为1、KITTI数据集上的被跟踪物体移动速度都不快，这使得其外观是缓慢变化的 2、被跟踪物体周围通常没有干扰物，对物体特征提取的干扰较小。然而，真实世界通常不存在以上两个特点。

所以，在复杂的现实场景中，单纯的使用apperence matching的方式进行跟踪效果并不好，故作者提出了使用Motion-Centric paradigm(运动估计范式)进行目标跟踪。图1是matching-based的算法的结构图，图2是Motion-centric paradigm的结构图。

图1 Matching-based的范式

图2 Motion-centric的范式

作者认为该文具有以下三个贡献：

1、提出了一个新颖的Motion-Centric paradigm，使用该范式的算法不依赖于外观匹配

2、提出了基于该范式的具体算法MM-Track

3、提出的算法在KITTI、NuScenes、Waymo Open Dataset数据集上取得了非常好的效果

2、Method

该文提出的MM-Track算法的结构图如图3所示。

图3 MM-Track 算法结构图

2.1 Motion-Centric paradigm(运动估计范式)

2.2 MM-Track算法

基于2.1中所述的Motion-Centric范式，作者提出了MM-Track算法，该算法是一个两阶段算法。第一阶段通过目标分割(这一步或许也可以看做预处理)、运动估计得到大致的目标框，第二阶段使用motion-assisted shape completion进行目标框优化。

2.2.1使用基于时空特征的目标分割作为预处理：

为了得到目标点的相对位移，那么第一步就应该是将目标点从背景点中分割出来。作者构建了一个所谓的spatial-temporal point cloud(时空信息点云)，其实就是把前后两帧的点云拼接在了一起，然后给每个点加了个时间戳。表示为

随后作者为时间信息点云中的每一个点加了一个先验置信度，用公式来说就是：

即，一个点，如果是上一帧的点，并且在Box中，先验置信度为1。如果是上一帧的点，不在Box中，先验置信度为0。如果是这一帧的点，先验置信度为0.5。

这其实也挺好理解，如果在上一帧的Box中，那么该点是前景点的可能性是最大的，如果不在Box中，那么他多半不是前景点。如果是这一帧的点，咱们什么都还不知道，所以置信度处于中间值0.5。

2.2.1一阶段的Box预测

图4 一阶段预测的结构图

2.2.2二阶段的Box优化以及形状完善

2.3 Box-aware 特征增强

2.4 其他细节

都是比较细节的点了，损失函数如下

3、实验结果

这个性能提升挺大的，运算速度也能达到57FPS，内存消耗比BAT小31.1%。但是性能受到刷新率的影响，即在10Hz上的数据集上训练，拿到2Hz的数据集上就不行。

4、总结

作者：在这项工作中，我们重新审视了激光雷达点云中的3D SOT，并提出用一种新的以运动为中心的范式来处理它，这被证明是对基于匹配的Siamese范式的极好补充。除了新的范例之外，我们还提出了一种特定的以运动为中心的跟踪算法MM-Track，它在各个方面都显著优于现有技术。大量分析证实，以运动为中心的模型对干扰和外观变化具有鲁棒性，并且可以直接受益于以前基于匹配的跟踪器。我们相信，以运动为中心的范式可以作为指导未来此类算法设计的主要原则。在未来，我们可能会尝试通过考虑更多帧，并在更精细的设计下将其与外观匹配相结合来改进MM算法

笔者：性能提升真的是很大。但是这种所谓的Motion-Centric我感觉并不独特，如SimTrack在思想上就和这篇文章比较类似。但是在3D单目标跟踪领域，直接使用Motion，而不使用appearence的算法，似乎是没有看到过。最近的文章似乎都在阐述一个趋势，即3D领域的点云本身的外观信息不可靠，只能作为Motion的辅助？