TPAMI 2024 | 探索基于Point-BEV融合的3D点云对象跟踪与Transformer

Exploring Point-BEV Fusion for 3D Point Cloud Object Tracking With Transformer

探索基于Point-BEV融合的3D点云对象跟踪与Transformer

Zhipeng Luo; Changqing Zhou; Liang Pan; Gongjie Zhang; Tianrui Liu; Yueru Luo; Haiyu Zhao; Ziwei Liu; Shijian Lu

---

摘要

随着激光雷达传感器在自动驾驶中的广泛使用，3D点云对象跟踪引起了越来越多的关注。在点云序列中，3D对象跟踪旨在预测对象在连续帧中的位置和方向。受到Transformer成功的启发，我们提出了点跟踪Transformer（PTTR），该方法利用Transformer操作以粗到细的方式高效预测高质量的3D跟踪结果。PTTR包含三个新颖的设计。1）我们设计了关系感知采样，代替随机采样，以在子采样过程中保留与给定模板相关的点。2）我们提出了一种点关系Transformer，用于在模板和搜索区域之间进行有效的特征聚合和匹配。3）基于粗略跟踪结果ÿ