模型名称:SSN
SSN: Shape Signature Networks for Multi-class Object Detection from Point Clouds
主要贡献和特点
-
目前的模型中,点云数据的信息如形状等,未被充分利用。文章提出3D形状签名3D shape signature,通过对称,凸包和切比雪夫拟合的操作,提高多类别的特征的区别性。高效且对噪声具有鲁棒性。
就是在进一步挖掘了点云形状的特征,提出形状编码,最后回归形状编码,最后提高目标分类的效果
-
提出shape signature networks(SSN)网络,由金字塔特征编码、形状头感知分组shape-aware heads grouping和显式形状编码shape signature 组成
这部分感觉与CBGS很像
-
3D形状签名可以作为即插即用组件,独立于主干。在不同的骨干网络上进行的实验表明它具有良好的可扩展性
-
文章主要是对特征编码进行了优化,利用点云的形状信息使得多分类更准确吧。
网络架构
形状编码方法
点云分析
-
点云形状和比例随类别而变化
-
点云通常只会包含物体的一部分
-
点云具有稀疏性、不规则性
已有的形状表示方法
- 基于局部形状的特征,通过邻居构造编码,或将上下文特征合并到形状特征中。
- 基于全局的特征,对整个3D点云的几何和结构化信息进行编码
- 自动编码器来学习低维形状嵌入空间
本文的形状编码
-
对称操作:补充稀疏点云
-
投影:投影到物体的三个视图(包括鸟瞰图,侧视图和前视图),对形状信息进行建模
-
凸包:使用角度-半径策略来形成凸包,360°采了一些角度,每个角度计算box中心到最远点的距离作为半径。作用: 使编码对内部稀疏性具有鲁棒性。
-
Chebyshev逼近:对凸包结果利用Chebyshev逼近,由Chebyshev逼近系数形成最终的形状特征编码,每个视角都有,最后再拼接。作用: 使形状编码更紧凑,更健壮。
最后的形状编码SS就是三个方向上的Chebyshev逼近系数的拼接。
注意:本文最后回归的也是这个形状编码
整个形状编码流程如下图所示,
已有方法的缺点: 特征不紧凑(维度多,且对稀疏数据不友好)
本文编码的有点:紧凑、鲁棒
SSN网络 - Shape Signature Networks
1. Point-to-Structure
作者表示,使用Second、Point-Pillar的方法都可以,本文使用Point-Pillar的编码方法
2. Pyramid Feature Encoding.
采用FPN进行特征编码
《Feature pyramid networks for object detection.》
3. Shape-aware Grouping Heads.
将相似的类别先组成group,共享权重。
1)具有不同比例和形状的物体应具有不同的头部。例如,由于公交车的head必须比自行车的head更重(或更深),因为头部更重,接受区域更大。
2)形状分组头可以进行粗略的形状探索,也可以减轻其他分组的影响。
此部分感觉和CBGS《Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection》类似
loss
- 分类采用focal loss
- 定位采用SmoothL1,包括中心点xyz, 尺寸whl和方向theta
- 对于box的回归,本文没有用中心点xyz, 尺寸whl的偏移量进行回归,而是直接使用提出的9维的形状编码SS进行回归,同样使用SmoothL1。
- 总loss
网络细节与结果
-
Nusc DataSet
- range: ([-49.6, 49.6], [-49.6, 49.6], [-5, 3])
- pillar size: [0.2, 0.2, 8]
-
Nusc数据集结果
- Effects of Shape-aware Grouping Heads、Shape Signature
- Effects of Shape Signature
- Effects of Shape-aware Grouping Heads、Shape Signature