[文章解读] ECCV2020 SSN: Shape Signature Networks for Multi-class Object Detection from Point Clouds

---

摘要

多类3D对象检测旨在对点云中多个类别的对象进行定位和分类。由于点云的性质，即非结构化，稀疏和嘈杂，未充分利用有益于多类别识别的某些特征，例如形状信息。
在本文中，提出了一种新颖的3D形状签名来探索来自点云的形状信息。通过结合对称，凸包和切比雪夫拟合操作，所提出的形状签名不仅紧凑有效，而且对噪声也很鲁棒，可以提高多类判别的特征能力。
基于提出的形状签名，开发了用于3D对象检测的形状签名网络（SSN），该网络由金字塔特征编码部分，形状感知分组头和显式形状编码目标组成。实验表明，该方法在两个大型数据集上的性能明显优于现有方法。此外，形状签名可以充当即插即用的组件，而消融研究表明其有效性和良好的可扩展性

本文的主要贡献

这项工作的贡献主要体现在四个方面：
（1）提出了一种新颖的形状签名来从点云中显式地探索3D形状信息，它虽然紧凑但包含足够的信息，并且对噪声和稀疏性具有鲁棒性。
（2）开发了用于从点云进行对象检测的形状签名网络（SSN），该网络通过形状感知头分组和形状签名研究有效地执行了多类检测。
（3）提出的3D形状签名可以充当即插即用组件，并且独立于主干。 在不同的骨干网络上进行的实验表明它具有良好的可扩展性。

网络结构

框架由四个部分组成，即point-to-structure，pyramid feature encoding金字塔特征编码，shape-aware grouping形状感知分组头和multi-task objectives多任务目标， SSN的关键组件是shape signature objective和shape-aware grouping。 特别地，在训练过程中，shape signature objective可以通过反向传播引导学习鉴别特征，从而有益于多类别识别。 训练后，不再需要shape signature objective。

Shape Signature

形状签名包含两个部分：形状完成和形状嵌入

形状完成
1.Transform：目标物体的点位于场景中。首先将地面真值盒的中心变换到原始点，并以前向为参考轴。
2.Symmetry
激光雷达扫描只能覆盖两个或三个对象的面部，因此这种局部观察会影响形状的研究。 我们引入中心对称来完成部分视图。
形状嵌入
1.Projection：给定已完成的点，我们将3D点投影到三个2D视图，即鸟瞰图，前视图和侧视图。 根据投影，将3D点解耦到几个2D平面中，这可以彻底描述3D形状并有利于减少参数。
2.Convex Hull
投影后，我们得到不同视图的2D点。 但是，可以发现二维点的组织被限制为有效地表示形状，并且仍然存在内部稀疏性。 因此，引入凸包来表征这些2D点并强调视图轮廓，从而对内部稀疏性具有鲁棒性。 此外，二维点的轮廓还保持了比例信息，这是进行多类别识别的重要因素。
3.Angle-Radius
为了描述凸包并突出显示轮廓形状和比例，设计了角度半径参数函数f(θ)。 使用地面真值框的中心作为原点σ，并密集采样一些角度θ。 这样，函数

其中C是凸包，dist表示原点和交点之间的距离（即半径）。
为了缩短长矢量表示并进一步增强抗噪声能力（例如2D点中的某些离群值），我们引入了Chebyshev拟合来处理角度半径函数f(θ)。

Chebyshev Fitting
应用Chebyshev多项式来近似角度半径函数，然后使用它们的系数作为最终的形状矢量。

因此，Chebyshev逼近的通用公式可以写为Tn（x）的总和::

其中，α是系数。 可以使用以下公式计算这些系数：

由于f（x）中的系数数为2^(N-1)，用前k个项截断了α。 对于每个视图，前k个系数是形状矢量。 最终的形状签名是

Some Extreme Cases
一些极端情况。 由于激光雷达传感器和人工注释器的局限性，某些地面真相框包含的点数小于或等于5，对于错误的标签，甚至包含0点。 对于这些盒子，很难对形状信息建模，因此使用该类别的平均编码来表示其形状矢量。

SSN:Shape Signature Networks

Point-to-Structure
选择基于支柱的表示来构建点云。
金字塔特征编码
遵循FPN 的思想来执行特征编码。 首先应用自上而下的卷积网络从多个空间分辨率中提取特征。 然后，通过上采样和串联将所有特征融合在一起。
Shape-aware Grouping Heads
创建多个头部，比例和形状相似的对象在其中共享权重。 原因主要在于以下几点：1）具有不同比例和形状的物体应具有不同的头部。 例如，由于自行车头较大，因此其头部需要比自行车头更重（或更深），因为头部更重，接受区域更大。 2）形状分组头可以执行粗略的形状探索，并且还可以减轻其他分组的影响。

Multi-task Objectives

三个目标，即多类分类，局部回归和形状矢量回归。 对于多类别分类，使用焦点损失。

其中pt是默认框的类概率，使用α= 0:25和γ= 2

对于定位损失，使用平滑的L1损失来最小化预测和定位残差之间的距离

其中b，包括中心（x; y; z），比例（w; h; l）和旋转（θ）。

与在局部化中回归残差不同，没有对box进行回归，而是直接对形状矢量进行回归。 对于形状回归，还应用了平滑的L1损失。


其中β是损失项的常数因子。 由于形状损失远大于局部和分类损失，β1= 1：0，β2= 1：0和β3= 0：5设置为平衡值刻度。

对本文的思考

首先本文提出了多目标检测头，对具有不同特征的目标分开处理。其次本文提出的形状签名是通过点云补全得到形状特征，利用Chebyshev实现对形状特征的表示，本质还是获得更加鲁棒的特征表示形式。