多池化策略揭秘：PVAFN如何实现更精准的3D物体识别？

更多优质内容，请关注公众号：智驾机器人技术前线

1.论文信息

• 论文标题：PVAFN: Point-Voxel Attention Fusion Network with Multi-Pooling Enhancing for 3D Object Detection

• 作者：Yidi Li, Jiahao Wen, Bin Ren, Wenhao Li, Zhenhuan Xu, Hao Guo* Hong Liu Nicu Sebe

• 作者单位：太原理工大学，北京大学，比萨大学，特伦托大学

• 论文链接：https://arxiv.org/abs/2408.14600v1

• 项目地址：待开源

2.摘要

在基于激光雷达的3D物体检测中，点和体素表示的融合越来越普遍。然而，这种结合通常在有效捕获语义信息方面存在挑战。此外，仅依赖感兴趣区域内的点特征可能导致信息丢失和局部特征表示的限制。为了应对这些挑战，我们提出了一种新颖的两阶段3D物体检测器，称为点体素注意力融合网络（PVAFN）。PVAFN利用注意力机制在特征提取阶段改进多模态特征融合。在细化阶段，它采用多池化策略有效整合多尺度和区域特定信息。点体素注意力机制自适应地结合了点云和基于体素的鸟瞰图（BEV）特征，从而产生更丰富的物体表示，有助于减少误检。此外，引入了多池化增强模块来提升模型的感知能力。该模块采用聚类池化和金字塔池化技术，有效地捕获关键的几何细节和细粒度形状结构，从而增强了局部和全局特征的整合。在KITTI和Waymo数据集上的广泛实验表明，所提出的PVAFN实现了有竞争力的性能。代码和模型将开源。

3.主要贡献

• 引入了一种新颖的点体素注意力融合网络（PVAFN）用于3D物体检测。PVAFN通过一个结合自注意力和点体素注意力的模块，自适应地整合点特征与体素-BEV融合特征，增强了特征表示，丰富了上下文信息;

• 提出了一个多池化增强模块，结合了RoI聚类池化头和RoI金字塔池化头，有效地捕获关键的几何细节和细粒度形状，从而增强了局部和全局感知

• 在KITTI和Waymo 3D物体检测数据集上的广泛实验验证了PVAFN的有效性，展示了在检测汽车、行人和骑自行车者方面的竞争力表现。

4.核心思想与方法

首先，原始点云经过关键点采样和体素化处理。通过点体素注意力融合模块将得到的关键点、体素和BEV特征进行融合，该模块采用自注意力、点体素注意力和残差连接。然后，多池化增强模块提取几何和细粒度特征，用于生成和细化。

在第一阶段，使用类似于PVRCNN的下采样和体素化方法来获取关键点特征、体素特征和BEV特征，这些特征通过特征提取模块来实现。然后，这些特征通过所提出的点体素注意力融合模块进行处理，以增强上下文表示。在第二阶段，多池化增强模块，包括用于关键几何信息的RoI聚类池化头和用于细粒度形状特征提取的RoI金字塔池化头，对这些特征进行细化，以进行分类和回归。

本文所提出算法的架构

5.实验仿真验证

6.总结

在本文中，我们提出了一种新颖的两阶段3D物体检测器，基于点体素注意力融合网络（PVAFN），通过融合点和体素表示并通过上下文信息解决3D物体检测的挑战。PVAFN有两个主要组成部分：首先，所提出的点体素注意力机制自适应地融合了点和体素-BEV表示的特征，捕获丰富的上下文信息以减轻稀疏点云的限制。其次，在细化网络阶段，所提出的多池化增强模块不仅通过金字塔结构获取丰富和高粒度的信息，而且还通过聚类池化方法专注于前景点特征提取，实现了关键几何特征的快速定位。PVAFN充分利用了点和体素表示的优势，在KITTI和Waymo数据集上实现了有竞争力的检测性能。

本文仅做学术分享，如有侵权，请联系删文！

更多优质内容，请关注公众号：智驾机器人技术前线