今天给大家推荐一个涨点发顶会的好方向:卡尔曼滤波+目标检测。这俩热点的结合可以轻松实现“1+1>2”的效果。
卡尔曼滤波(Kalman Filter)是一种有效的递归滤波器,它在目标检测和跟踪领域有着广泛的应用。
目标跟踪的三个主要阶段:首先进行移动目标的检测,然后是跨图像跟踪这些目标,最后分析目标的轨迹以识别它们的行为。卡尔曼滤波器在这一过程中扮演着重要的角色,尤其是在跟踪阶段。
卡尔曼滤波器的工作原理:卡尔曼滤波器是一组数学方程,它提供了一个高效(递归)的计算方法,用于估计一个过程的状态。它非常强大,因为它支持对过去、现在甚至未来状态的估计,即使在跟踪和检测目标的系统性质不完全清楚的情况下也能进行。
它能够提供对目标状态的准确估计,并在复杂的视觉环境中保持跟踪的稳定性和准确性。我整理出 12 篇最新论文,并附上开源代码,方便大家复现找灵感。!
需要的同学私信我
回复“卡尔曼滤波+目标检测”即可全部领取
论文精选
论文1:Automatic Labeling to Generate Training Data for Online LiDAR-based Moving Object Segmentation
自动标记用于在线激光雷达基础移动物体分割的训练数据生成
方法
-
自动数据标记流水线:通过批量处理3D激光雷达数据,自动生成用于训练的学习基础移动物体分割(MOS)系统所需的标记训练数据。
-
占用网格动态对象移除:初步检测可能的动态对象。
-
段提取与卡尔曼滤波器跟踪:在提议中提取段,并使用卡尔曼滤波器进行跟踪。
-
基于跟踪轨迹的标签生成:根据跟踪轨迹,将实际移动的对象(如行驶中的汽车和行人)标记为移动,将非移动对象(如停放的汽车、路灯、道路或建筑物)标记为静态。
创新点
-
自动标记方法:提出了一种新颖的模块化方法,用于在3D激光雷达扫描中自动生成MOS标签,节省了大量的手动标记工作(IoUMOS达到74.2%,远高于其他基线方法)。
-
性能提升:使用自动生成的标签训练的深度神经网络与使用手动标签训练的网络相比,在相同数据上达到了相似的性能,并且在使用额外数据集时性能更好(例如,在使用KITTI道路数据集进行训练时,IoUMOS提升至62.3%)。
-
环境泛化能力:实验表明该方法可以在不同环境和不同传感器的数据集上生成标签,具有良好的泛化能力。
论文2:Observation-Centric SORT Rethinking SORT for Robust Multi-Object Tracking
以观察为中心的SORT:重新思考SORT以实现鲁棒的多目标跟踪
方法
-
卡尔曼滤波器(KF):基于KF的方法,用于多目标跟踪(MOT),假设目标以线性运动。
-
观察中心SORT(OC-SORT):不依赖于线性状态估计,而是使用目标观察来计算遮挡期间的虚拟轨迹,以修正滤波器参数在遮挡期间的误差累积。
创新点
-
观察中心重新更新(ORU):通过在重新激活轨迹时使用虚拟观察来修正历史时间步骤中累积的误差,显著提高了在遮挡和非线性运动期间的跟踪鲁棒性(在DanceTrack数据集上,HOTA提升至54.6%,显著高于其他方法)。
-
观察中心动量(OCM):在关联成本矩阵中引入了方向一致性,以改善跟踪性能。
-
实时性能:OC-SORT在单CPU上以700+ FPS的速度运行,实现了在线和实时的SOTA性能。
-
多数据集验证:在MOT17、MOT20、KITTI、头部跟踪和DanceTrack等多个数据集上验证了OC-SORT的有效性,特别是在对象运动高度非线性的场景下。
论文3:Parametric and Multivariate UncertaintyCalibration for Regression and Object Detection
回归和目标检测的参数化和多变量不确定性校准
方法
-
高斯过程(GP)校准方案:使用GP校准方案,输出参数分布(例如高斯或柯西分布)。
-
协方差估计:允许在目标检测的输出量之间引入局部相关性。
创新点
-
参数化分布:使用GP校准允许局部(条件)不确定性校准,并通过参数化分布简化了后续过程(例如目标跟踪中的卡尔曼滤波)中的校准适应。
-
多变量校准:引入了量化校准误差(QCE),基于预测分布和真实值之间的马氏距离来确定真实值是否在预测的分位数内,从而测量联合校准的多变量和可能相关的数据。
-
开源代码:所有代码都是开源的,可以在GitHub上找到,便于社区进一步研究和应用。
-
实验结果:实验表明,常见的检测模型与观察到的误差相比高估了空间不确定性,而简单的等吨数回归校准方法足以在校准分位数方面实现良好的不确定性量化。
论文4:Probabilistic 3D Multi-Object Cooperative Tracking for Autonomous Driving via Differentiable Multi-Sensor Kalman Filter
基于可微分多传感器卡尔曼滤波器的自动驾驶概率3D多目标协同跟踪
方法
-
可微分多传感器卡尔曼滤波器(DMSTrack):提出了一种新颖的3D多目标协同跟踪算法,通过可微分的多传感器卡尔曼滤波器实现。
-
测量不确定性估计:算法学习估计每个检测的测量不确定性,以更好地利用卡尔曼滤波器的理论属性。
-
晚融合方法:每个连接的自动驾驶车辆(CAV)首先执行自己的目标检测,然后将检测结果作为输入进行协同跟踪。
-
数据关联和卡尔曼滤波器更新步骤:通过多次数据关联和卡尔曼滤波器更新步骤,处理所有CAV的检测结果,生成最终的跟踪结果。
创新点
-
可微分多传感器卡尔曼滤波器:提出了一种新颖的算法,能够估计不同CAV的每个检测的观测噪声协方差,从而更好地利用卡尔曼滤波器的理论最优性属性,提高跟踪精度。
-
性能提升:实验结果表明,与V2V4Real数据集中的最先进的方法相比,所提出的算法在跟踪精度上提高了17%,通信成本仅为0.037倍。
-
晚融合方法:与需要共享场景级Bird-Eye-View(BEV)特征图的中间融合方法相比,所提出的方法通信成本更低,只需共享每个检测的边界框和协方差信息。
论文5:3DMOTFormer: Graph Transformer for Online 3D Multi-Object Tracking
3DMOTFormer:用于在线3D多目标跟踪的图变换器
方法
-
图变换器框架:提出了一个基于变换器架构的3D多目标跟踪框架,使用边缘增强的图变换器逐帧推理跟踪-检测二分图,并通过对边分类进行数据关联。
-
在线训练策略:初步检测可能的动态对象。
创新点
-
边缘增强的图变换器:通过考虑边特征来增强变换器模型,有效地捕获二分图中的结构信息,使得模型能够更准确地进行数据关联。
-
在线训练策略:通过模拟在线推理阶段的操作模式和数据分布,优化网络以从错误中恢复,并考虑整个序列,提高了模型的在线性能。
-
性能提升:使用CenterPoint检测作为输入,在nuScenes验证和测试分割上分别达到了71.2%和68.2%的AMOTA,显示出在所有基于几何方法中的最佳性能。
-
跨不同目标检测器的泛化能力:训练的3DMOTFormer模型能够在不同的目标检测器上泛化,提供了灵活的部署选项,独立于目标检测器。
需要的同学私信我
回复“卡尔曼滤波+目标检测”即可全部领取