ECCV2020 点云处理——A Closer Look at Local Aggregation Operators in Point Cloud Analysis

（一）动机 Motivation

• 用于点云处理的网络体系结构的最新进展主要是由local aggregation operators的新设计推动的。但是，由于每个网络的总体架构和实现细节不同，因此未仔细研究这些operators对网络性能的影响。同时，大多数operators仅应用于浅层架构。
• aggreation operator对网络性能的贡献却从未经过认真研究和公平比较。这主要是由于每个工作中使用的网络架构不同，例如网络深度，宽度，基本构造块，是否使用跳跃连接，以及每种方法的不同实现（例如点采样方法，邻域计算，等等。同时，大多数现有的aggregation layers 都应用在浅层网络中，目前尚不清楚随着网络深度的增加，这些设计是否仍然有效。
• 论文表明，尽管这些operators的设计不同，但是所有这些operators在相同的网络输入和特征数量下，对网络性能的贡献出乎意料的相似。因此本篇论文重新考虑对点云处理进行本地聚合运算符的复杂设计的必要性。

（二）创新 Innovation

重新考虑局部聚合层在point cloud modeling中的作用：我们真的需要复杂的局部聚合计算吗？

• 提出一个非常简单的局部聚集算子来回答这个问题，该算子没有可学习的权重:通过元素乘法来组合相邻点特征及其三维相对坐标，然后使用一个AVG池层来从相邻点提取信息。
• 在这三个数据集上显示的精确度均不比其他高度优化的复杂运算符低甚至更好。在挑战性的PartNet数据集上大大优于以前的方法（7.4 mIoU）。

（三）Overview of Local Aggregation Operators

介绍了局部聚合运算符的一般公式以及它们的分类。

General Formulation

Point-wise MLP based Methods

Pseudo Grid Feature based Methods

基于伪网格特征的方法在几个采样的常规网格点上生成伪特征，从而可以应用常规卷积方法。代表性的方法是KPConv ，该方法对均匀分布的球面网格点进行采样，并在第K个网格点上计算伪特征为：

不同的基于伪网格特征的方法之间的主要区别在于网格点或索引顺序的定义。

Adaptive Weight based Methods

基于自适应权重的方法定义了任意相对位置上的卷积滤波器，因此可以计算所有相邻点上的聚合权重。

一些方法采用更多与位置有关的变量，点密度或边缘特征作为计算自适应权重的输入。例如，还可以使用除全连接（FC）层以外的更复杂的功能，例如，泰勒（Taylor）逼近和附加的SoftMax函数可对邻域中的聚合权重进行归一化。

（四）Benchmarking Local Aggregation Operators in Common Deep Architecture

4.1 Common Experimental Settings

图1显示了本文中使用的residual架构。

• 包括5个不同点分辨率的阶段，每个阶段由几个bottleneck residual blocks堆叠。
• 每个bottleneck residual block依次由1×1逐点转换层，局部聚合层和另一个1×1逐点转换层组成。
• 在连接两个阶段的块上，应用了跨越式局部聚合层，其中以较高的分辨率选择局部邻域，而输出采用较低的分辨率。
• 在每1×1层之后应用批归一化和ReLU层，以方便训练。
• 对于头部网络，分别使用4层分类器和U-Net风格的编码器-解码器进行分类和语义分割。

在评估本地聚合运算符时，使用此运算符实例化体系结构中的所有本地聚合层。本文还通过改变网络深度（block repeating factor Nr），width（C）和bottleneck ratio（γ）来调整模型复杂度。

Point Sampling and Neighborhoods.

为了生成不同分辨率级别的点集，遵循KPCo