原文链接:https://arxiv.org/pdf/2110.06049.pdf
引言
目前的3D检测方法根据点云表达主要分为基于点的、基于体素的和基于2D网格的。基于点的方法能提取最细粒度的特征,但耗时长;基于体素的方法由于稀疏卷积,耗时不稳定;基于2D网格的(如BEV或RV)速度最快,但投影可能丢失信息,因此效果可能不如前两者。
本文在PointPillars的基础上,引入高度感知子柱体(HS柱体),使用高度感知位置编码得到垂直方向上细粒度的特征;引入基于稀疏性的小柱体(ST柱体),使用基于稀疏性的CNN主干(由密集特征稀疏注意力/DFSA模块堆叠而成)得到水平方向上的细粒度特征。
方法
如下图所示,包含三个部分。首先将点云投影为小柱体和子柱体,得到细粒度的2D伪图像。然后使用包含DFSA的CNN主干提取特征,其中大尺度特征图包含物体的位置信息,小尺度特征图包含物体的形状信息。最后,特征输入到检测头预测边界框大小和位置。
高度感知子柱体
子柱体:将每个柱体分割为个子柱体,使用所在子柱体各点中心
和与子柱体中心
的偏移
加强各点,然后使用两层VFE作为柱体特征编码(PFE),从每个子柱体提取特征。然后拼接所有子柱体的特征作为2D伪图像中对应位置的特征。
由于高度分布的集中性,分割为子柱体仅会带来小的计算时间增量。
高度感知位置编码:直接拼接各子柱体特征会丢失子柱体的高度信息。引入高度位置编码
并与各子柱体特征拼接,作为2D伪图像对应位置的特征。
基于稀疏性的小柱体
小柱体:将2D网格尺寸减半,得到更细粒度的特征。
基于稀疏性的CNN主干:直接减小2D网格尺寸带来了严重的耗时增加,且感受野减小。
本文提出基于稀疏性的CNN主干(SCB),由密集特征稀疏注意力模块(DFSA)堆叠而成。由于多数小柱体为空,直接使用CNN是不必要且效率低的;可以使用稀疏的大尺度特征表达物体分布,以预测更准确的物体中心,同时使用密集的小尺度特征提取细粒度物体特征,预测更准确的物体边界。
DFSA模块如下:
输入的稀疏大尺度特征通过带步长的卷积块,然后沿通道维度进行均值池化和最大池化并拼接。再输入到卷积层+sigmoid函数,生成空间注意力图。同时个分支不同尺度地下采样特征图,并通过若干卷积块,得到密集小尺度特征图。特征图尺度越小,使用的卷即块越多。密集小尺度特征图由空间注意力图指导,上采样到输出大小。最后所有分支的特征图拼接起来,通过
卷积块。
SCB的输出是所有DFSA模块输出上采样到输入大小后拼接的结果。
实验
实施细节
检测头:与CenterPoint类似,使用中心热图头和回归头(中心位置细化、离地高度、3D尺寸、偏航角、与真实边界框的IoU)。训练时使用focal损失,由真实物体中心监督;推断时寻找热图峰值对应的密集回归头输出位置并使用IoU感知的置信度修正。
消融研究
主要贡献的影响:子柱体、位置编码、小柱体、DF分支和SA分支均能带来结果提升。小物体的检测精度有很大提升。
子柱体数量的影响:检测精度随着子柱体数量增大而增大,但到一定程度后,由于每个子柱体的点减少,提取特征变得困难,汽车类别检测精度有所下降。
DFSA模块设置的影响:实验结果对DFSA模块中的超参数较为鲁棒。卷积块的数量越多,感受野越大,性能有所提升;下采样的程度越高,速度越快,但性能有所下降。