ECCV2020语义分割——Deep FusionNet for Point Cloud Semantic Segmentation

（一）动机 Motivation

现有方法不足：

• 尽管基于体素的卷积对于特征聚合很有用，但是如果体素包含来自不同类的点，则它们会产生模棱两可或错误的预测。其他方法（例如PointNet和逐点卷积）可能会采用不规则点进行特征学习。但是它们的高内存和计算成本（例如用于邻域搜索和球查询）限制了它们进行大规模点云处理的能力和准确性。

• 将许多原始点转移到一个体素上，当体素由不同类别的点组成时，这将在对象边界处产生模棱两可或错误的预测（图1（c））。

• 在训练大规模点云的深度和鲁棒网络方面受到限制（图1（a）），因为它们在邻域搜索，采样和球查询操作中具有很高的内存和计算复杂性。

• 基于点的卷积的方法学习近似权重函数或内插卷积权重。与可以直接索引具有固定邻域相对位置的内核的体积卷积相比，在这些点状卷积中，随着点的不规则散布，邻居的位置变得不可预测。因此，必须动态计算相邻点的内核。额外的存储成本和矩阵乘法将限制对大规模点云有效网络的训练，并且由于特征聚合不足而在某些对象中可能产生错误的预测（图1（b））。

（二）创新 Innovation

1. 提出了一种深度融合网络架构（FusionNet），该架构具有一个独特的基于体素的“ mini-PointNet”点云表示形式和一个用于大规模3D语义分割的新特征聚合模块（融合模块）。
2. FusionNet充分利用了稀疏属性，减少了内存占用。可以在一个GPU上对于一百万个点进行训练，达到大规模语义KITTI基准测试的最新精度。
3. 与现有的体素网络相比，当体素具有不同类别的点时，FusionNet可以预测逐点标签并避免那些模棱两可/错误的预测。
4. FusionNet具有更有效的特征聚合操作（包括有效的邻域体素聚合和细粒度的内部体素点级聚合）。这些操作有助于为大规模点云分割产生更高的准确性。继承了体素卷积网络的所有优点（在有效性和效率方面），同时能够学习点状特征以进行准确的标签预测。

（三）网络 FusionNet

3.1 Point Cloud Representation