Improved Pillar with Fine-grained Feature for 3D Object Detection论文笔记

原文链接：https://arxiv.org/pdf/2110.06049.pdf

引言

        目前的3D检测方法根据点云表达主要分为基于点的、基于体素的和基于2D网格的。基于点的方法能提取最细粒度的特征，但耗时长；基于体素的方法由于稀疏卷积，耗时不稳定；基于2D网格的（如BEV或RV）速度最快，但投影可能丢失信息，因此效果可能不如前两者。

        本文在PointPillars的基础上，引入高度感知子柱体（HS柱体），使用高度感知位置编码得到垂直方向上细粒度的特征；引入基于稀疏性的小柱体（ST柱体），使用基于稀疏性的CNN主干（由密集特征稀疏注意力/DFSA模块堆叠而成）得到水平方向上的细粒度特征。

方法

        如下图所示，包含三个部分。首先将点云投影为小柱体和子柱体，得到细粒度的2D伪图像。然后使用包含DFSA的CNN主干提取特征，其中大尺度特征图包含物体的位置信息，小尺度特征图包含物体的形状信息。最后，特征输入到检测头预测边界框大小和位置。

高度感知子柱体

        子柱体：将每个柱体分割为个子柱体，使用所在子柱体各点中心和与子柱体中心的偏移加强各点，然后使用两层VFE作为柱体特征编码（PFE），从每个子柱体提取特征。然后拼接所有子柱体的特征作为2D伪图像中对应位置的特征。

        由于高度分布的集中性，分割为子柱体仅会带来小的计算时间增量。

        高度感知位置编码：直接拼接各子柱体特征会丢失子柱体的高度信息。引入高度位置编码

        并与各子柱体特征拼接，作为2D伪图像对应位置的特征。

基于稀疏性的小柱体

        小柱体：将2D网格尺寸减半，得到更细粒度的特征。

        基于稀疏性的CNN主干：直接减小2D网格尺寸带来了严重的耗时增加，且感受野减小。

        本文提出基于稀疏性的CNN主干（SCB），由密集特征稀疏注意力模块（DFSA）堆叠而成。由于多数小柱体为空，直接使用CNN是不必要且效率低的；可以使用稀疏的大尺度特征表达物体分布，以预测更准确的物体中心，同时使用密集的小尺度特征提取细粒度物体特征，预测更准确的物体边界。

        DFSA模块如下：

        输入的稀疏大尺度特征通过带步长的卷积块，然后沿通道维度进行均值池化和最大池化并拼接。再输入到卷积层+sigmoid函数，生成空间注意力图。同时个分支不同尺度地下采样特征图，并通过若干卷积块，得到密集小尺度特征图。特征图尺度越小，使用的卷即块越多。密集小尺度特征图由空间注意力图指导，上采样到输出大小。最后所有分支的特征图拼接起来，通过卷积块。

        SCB的输出是所有DFSA模块输出上采样到输入大小后拼接的结果。

实验

实施细节

        检测头：与CenterPoint类似，使用中心热图头和回归头（中心位置细化、离地高度、3D尺寸、偏航角、与真实边界框的IoU）。训练时使用focal损失，由真实物体中心监督；推断时寻找热图峰值对应的密集回归头输出位置并使用IoU感知的置信度修正。

消融研究

        主要贡献的影响：子柱体、位置编码、小柱体、DF分支和SA分支均能带来结果提升。小物体的检测精度有很大提升。

        子柱体数量的影响：检测精度随着子柱体数量增大而增大，但到一定程度后，由于每个子柱体的点减少，提取特征变得困难，汽车类别检测精度有所下降。

        DFSA模块设置的影响：实验结果对DFSA模块中的超参数较为鲁棒。卷积块的数量越多，感受野越大，性能有所提升；下采样的程度越高，速度越快，但性能有所下降。