TPAMI 2024 | 通过动态移位网络实现统一的3D和4D全景分割

Unified 3D and 4D Panoptic Segmentation via Dynamic Shifting Networks

题目：通过动态移位网络实现统一的3D和4D全景分割

作者：Fangzhou Hong; Lingdong Kong; Hui Zhou; Xinge Zhu; Hongsheng Li; Ziwei Liu
源码：https://github.com/hongfz16/DS-Net

---

摘要

随着自动驾驶技术的快速发展，为其感知系统配备更全面的三维感知能力变得至关重要。然而，像三维检测或点云语义分割这样被广泛探索的任务，主要集中在解析物体或场景。在这项工作中，我们提出了解决基于激光雷达的全景分割的挑战性任务，该任务旨在以统一的方式解析物体和场景。特别是，我们提出了动态偏移网络(DS-Net)，它作为点云领域有效的全景分割框架。DS-Net 具有针对复杂激光雷达点云分布的动态偏移模块。我们展示了一个高效的可学习聚类模块，动态偏移，它适应不同实例的核心函数。为了进一步探索时间信息，我们将单扫描处理框架扩展到其时间版本，4D-DS-Net，用于四维全景分割任务，其中跨多帧的同一实例应给出相同的ID预测。与简单地将跟踪模块附加到DS-Net不同，我们提出以更统一的方式解决四维全景分割问题。具体来说，4D-DS-Net 首先通过对齐连续的激光雷达扫描构建四维数据体，在此基础上执行时间统一的实例聚类以获得最终结果。在两