#今日论文推荐#SE-ProPillars | 一个具备鲁棒性的实时3D目标检测方法
这项工作旨在通过专注于使用路边激光雷达对环境的 3D 感知来应对自动驾驶的挑战。作者设计了一个 3D 目标检测模型,可以实时检测路边 LiDAR 中的交通参与者。本文的模型使用现有的 3D 检测器作为基线并提高了其准确性。为了证明所提出的模块的有效性,作者在3个不同的车辆和基础设施数据集上训练和评估模型。为了展示本文所提检测器的领域适应能力,作者在来自中国的基础设施数据集上对其进行训练,并在德国记录的不同数据集上进行迁移学习。作者对检测器中的每个模块进行了几组实验和消融研究,实验结果表明本文的模型在很大程度上优于基线,而推理速度为 45 Hz(22 ms)。通过基于 LiDAR 的 3D 检测器做出了重大贡献,该检测器可用于智慧城市应用,为自动驾驶车联网提供具有深远意义的视野。连接到路边传感器的车辆可以获得拐角处其他车辆的信息,以改进其路径和机动规划,进而提高道路交通安全。
1、相关工作综述根据特征表示的形式,LiDAR-only
3D 目标检测器可以分为4种不同的类型:
- point-based方法
- voxel-based方法
- hybrid point and voxel 方法
- projection-based方法
在基于点的方法中,特征通过采样子集或派生的虚拟点保持逐点特征的形式。PointRCNN
使用 PointNet++
主干从原始点云中提取逐点特征,并执行前景分割。然后对于每个前景点,它会生成一个 3D 提议
,然后是点云 ROI 池化
和基于规范变换的边界框细化过程。基于点的方法通常必须处理大量的逐点特征,这导致推理速度相对较低。为了加速基于点的方法,3DSSD
引入了特征最远点采样 (F-FPS
),它计算特征距离以进行采样,而不是传统距离最远点采样 (D-FPS
) 中的欧几里德距离。3DSSD
的推理速度可与基于Voxel
的方法相媲美。VoxelNet
将 3D 空间划分为等间距的Voxel
,并将point-wise
特征编码为voxel-wise
特征。然后 3D 卷积中间层对这些编码的Voxel
特征进行操作。稀疏点云空间上的 3D 卷积带来了太多不必要的计算成本。SECOND
提出使用稀疏卷积中间提取器,大大加快了推理时间。在 PointPillars
中,点云被分成pillars
(vertical columns
),它们是特殊的Voxel
,沿 z 方向没有任何分区。pillars
的特征图可以被视为伪图像,因此昂贵的 3D 卷积被 2D 卷积取代。PointPillars
在 TensorRT
加速的帮助下达到了最快的速度。SA-SSD
在稀疏卷积中间层添加了一个可分离的辅助网络来预测point-wise
前景分割和中心估计任务,可以提供额外的点级监督。SA-SSD
还提出了一种part-sensitive warping
(PS-Warp
)操作作为额外的检测头。它可以减轻预测边界框和分类置信度图之间的错位,因为它们是由检测头中的两个不同卷积层生成的。CIA-SSD
也注意到了错位问题。它设计了一个 IoU
感知的置信度校正模块,在检测头中使用一个额外的卷积层来进行 IoU
预测。预测的 IoU
值用于校正分类分数。通过仅引入一个额外的卷积层,CIA-SSD
比 SA-SSD
更轻量级。SE-SSD
提出了一个self-ensembling post-training
框架,其中一个预训练的教师模型产生预测,这些预测除了来自标签的hard targets
之外,还用作soft targets
。这些预测通过 IoU
与学生的预测相匹配,并由一致性损失监督。soft targets
更接近学生模型的预测,因此可以帮助学生模型微调其预测。这里SE-SSD
还提出了Orientation-Aware Distance-IoU Loss
来替代训练后边界框回归的smooth-L1
损失,以提供监督信号。SE-SSD
还设计了形状感知数据增强模块来提高学生模型的泛化能力。混合方法旨在利用基于Point
和基于Voxel
的方法。基于Point
的方法具有更高的空间分辨率但涉及更高的计算成本,而基于Voxel
的方法可以有效地使用 CNN
层进行特征提取,但会丢失局部point-wise
信息。因此混合方法试图在它们之间取得平衡。HVPR
是一种single-stage
检测器。它有两个特征编码器流,分别提取Point
特征和Voxel
特征。提取的特征被整合在一起并分散成一个伪图像作为混合特征。在混合特征图上执行一个卷积中间模块,然后是一个single-stage
检测头。STD
是一个two-stage
检测器,它使用 PointNet
来提取point-wise
特征。具有球形Anchor
点的基于Point
的proposal
生成模块旨在实现高召回率。然后一个 PointsPool
模块对每个proposal
进行Voxel
化,然后是一个 VFE
层。在框细化模块中,将 CNN
应用于这些Voxel
以进行最终预测。PV-RCNN
使用 3D 稀疏卷积进行Voxel
特征提取。每个卷积层都添加了一个Voxel
集抽象(Voxel-SA
)模块,将Voxel
特征编码为一小组关键点,通过最远点采样对其进行采样。然后通过前景分割分数重新加权关键点特征。最后,它们用于增强 ROI
网格点以进行细化。 R-CNN 从多视图投影中提取point-wise
特征。它将点云分别投影到笛卡尔坐标下的鸟瞰图和Pillar
坐标下的透视图。BEV 特征和point-voxel
(PV) 特征连接在一起以在 BEV
中生成proposal
,并融合在一起作为point-wise
空心 3D (H3D) 特征。然后在 3D 空间上执行Voxel
化,并将point-wise
H3D 特征聚合为 voxel-wise
H3D 特征以进行细化过程。RangeDet
是一种基于 LiDAR
的 anchor-free
single-stage
3D 目标检测器,纯粹基于 range view representation
。RangeDet
结构紧凑,没有量化误差。使用 RTX 2080 TI GPU 的推理速度为 12 Hz。运行时间不受检测距离扩展的影响,但是 BEV
表示会随着检测范围的增加而减慢推理时间。RangeRCNN
是另一个使用range image
、point view
和bird’s eye view
(BEV
) 的 3D 目标检测器。anchor
在 BEV
中定义,以避免尺度变化和遮挡。此外,使用两阶段区域卷积神经网络(RCNN
)来提高 3D 检测性能。本文设计了一个实时 LiDAR-only
3D 目标检测器(SE-ProPillars
),可以应用于现实世界的场景。
论文题目:Real-Time And Robust 3D Object Detection with Roadside LiDARs
详细解读:https://www.aminer.cn/research_report/62d0e16f7cb68b460feb9936https://www.aminer.cn/research_report/62d0e16f7cb68b460feb9936
AMiner链接:https://www.aminer.cn/?f=cs