3D Multi-Object Tracking: A Baseline and New Evaluation Metrics论文阅读记录

ng_T

已于 2022-11-18 10:49:56 修改

阅读量537

点赞数 1

分类专栏：点云 3D-MOT复现文章标签：论文阅读

于 2022-10-31 17:56:57 首次发布

本文链接：https://blog.csdn.net/weixin_45650071/article/details/127620192

版权

点云同时被 2 个专栏收录

12 篇文章 1 订阅

订阅专栏

3D-MOT复现

2 篇文章 0 订阅

订阅专栏

复现：

ubuntu20.04上conda环境复现AB3DMOT目标追踪算法记录_ng_T的博客-CSDN博客https://blog.csdn.net/weixin_45650071/article/details/127584612?spm=1001.2014.3001.5502

摘要部分：

论文发表前3D检测的工作重点：更多地集中于开发精确的系统，而忽视了计算成本和系统复杂度。引出本文的工作重点; In contrast, this work proposes a simple real-time 3D MOT system

摘要中提到的整体步骤：Our system first obtains 3D detections from a LiDAR point cloud. Then, a straightforward combination of a 3D Kalman filter and the Hungarian algorithm is used for state estimation and data association.（即首先从点云中获取检测结果（可以使用现有的目标检测算法），然后利用卡尔曼滤波和Hungarian 算法进行状态估计和数据关联（可以参考2D上的sort算法））

Kitii数据集：Additionally, 3D MOT datasets such as KITTI evaluate MOT methods in the 2D space and standardized 3D MOT evaluation tools are missing for a fair comparison of 3D MOT methods.（提到kitti数据集之前一直用的2D追踪评估的方法）引出本文的创新点：Therefore, we propose a new 3D MOT evaluation tool along with three new metrics to comprehensively evaluate 3D MOT methods.

摘要总结：本文提出了一种（将2Dsort算法应用到3D）注重简单而准确的实时3D目标追踪，扩展了官方的kitti数据3Dmot的评估模式，在精度方面提高了4个百分点，速度超过2D追踪的65倍达到214.7FPS

介绍部分：

现有的方法有什么缺点？：

尽管精度高，但是缺乏实时性，追求精度而设计了各种复杂的模块，缺乏各模块对准确率贡献度的掌握。而且通常在2D或者鸟瞰图上进行滤波。

现有检测精度对比（2D图像上，这里作者将追踪的3D结果投影回2D图像进行对比，本文提供的方法在速度和精度上做到平衡）：

In addition to the 3D MOT system, we also observed two issues in 3D MOT evaluation:

3D-MOT评估有什么缺点：

（1）Standard MOT benchmarks such as the KITTI dataset only supports 2D MOT evaluation, i.e., evaluation on the image plane（现有的kitti数据集仅支持2D平面的评估，3D评估时将三维投影到2D图像平面）引出作者的解决方案：To overcome the issue, we propose an MOT evaluation tool that evaluates MOT systems directly in 3D space using 3D metrics;

(2) Common MOT metrics such as MOTA and MOTP do not consider the confidence score of tracked objects.（不考虑轨迹的置信度）引出本文工作：To address the issue, we propose three new integral metrics to summarize the performance of MOT methods across many thresholds. 提出了两个新的度量标准——AMOTA和AMOTP (average)

本文贡献（主要工作）：提供了简单准确的3D追踪模型、对官方的追踪评估进行三维扩展、提供了两种3D追踪指标。

方法部分

As our system is an online MOT system, at every timestamp, we only require detections in the current frame and associated trajectories from the previous frames（本文将当前帧和之前帧进行数据关联）.

（A）通过3D检测从点云生成检测的结果（包括边界框。3D检测算法如pointRcnn、pvRCNN。本文使用预训练好的检测器）（B）利用3D卡尔曼滤波利用上一帧的轨迹进行当前帧状态估计（C）通过数据关联匹配卡尔曼滤波结果和当前帧检测的结果（D）更新当前帧目标状态（E）对新出现和消失的目标进行处理。

步骤（A）检测：在第t帧，3D检测模块输出是一组检测 Dt = {Dt1,Dt2,…,Dtn}（n是不同帧之间变化的检测次数，就是一帧检测的bboxs数量），每个检测Dti用一个上面提到的组合（x,y,z,l,w,h,θ,s）来表示。（x,y,z表示3D检测目标中心）（l,w,h表示目标的size）（θ表示方向角，S表示置信度）

步骤（B）状态检测：物体轨迹的状态表示为一个11维向量T = (x, y, z, θ, l, w, h, s, vx, vy, vz)后三个表示空间匀速运动，不添加角速度是因为加了角速度会减低准确率。每一帧会接受前一帧关联的轨迹

（其中mt-1表示t-1帧轨迹的数量）传播t帧通过恒定速度估计：

得到的预测Test(xest, yest, zest, θ, l, w, h, s, vx, vy, vz)将送入数据关联模块

步骤（C）数据关联：Test预测轨迹和检测Dt通过匈牙利算法进行关联。

通过计算每一对和之间的IOU值或者计算中心距离值得到相似性矩阵。然后数据关联成为二分图匹配问题，利用匈牙利算法在多项式时间内解决二分图匹配问题，但是会设置一定的IOU值筛选误匹配情况，或者如果使用中心距离计算亲和矩阵，则中心的距离大于阈值 distmax

其中 Tmatch 和 Dmatch 是匹配的轨迹和检测，wt 表示匹配的数量。Tunmatch和Dunmatch是没有匹配的轨迹和检测。请注意，Tunmatch 是测试中 Tmatch 的互补集。类似地，Dunmatch 是 Dt 中 Dmatch 的互补集。

步骤（D）状态更新：根据Tmatch和对应的每个Dmatch更新轨迹从而解决Tmatch中的不确定性。得到最终的关联轨迹Following the Bayes rule, the updated state of each trajectory, where k ∈ {1, 2, · · · , wt}权重由匹配轨迹Tk匹配和检测Dk匹配的状态不确定性决定（详情请参考卡尔曼滤波器[12]）。利用Bayes rule存在不好定向的问题比如检测和预测刚好180°（及刚好相反）。虽然我们知道显然不可能在0.1秒内突然转向，但是在检测时是有可能出现检查的朝向错误，使得我们追踪面临该场景，这将导致前后该目标轨迹和地面之间匹配到低 3D IoU。本文针对该问题提出的解决方案是：在匹配时大于90°时直接加上180°的方向角来规避该问题。

步骤E，对新目标以消失目标的管理：新目标的创建将上述Dunmatch中的对象作为潜在新出现的目标。为了避免错误的跟踪轨迹需要直到下一帧与当前帧能匹配的新对象时才为其分配新的轨迹记录。一旦新轨迹被成功创建，我们将轨迹的状态与其最近的测量相同，以vx，vy和vz的零速度进行初始化。消失的目标：将上述的Tunmatch作为潜在的离开场景的目标。为了避免偶尔一帧中的误检导致的误删除，本文一直对未匹配的Tunmatch进行追踪直到最大帧数未出现即当其消失。