【点云】《RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds》

RandLA-Net主攻大规模场景点云语义分割
之前的网络都是应用于较小点集的，且对语义分割没有太大进展，因为存在以下三个问题：

1. 这些网络的点采样方法要么计算成本高，要么内存效率低
2. 依赖于计算昂贵的kernelisation或graph construction,因此无法处理大量的点
3. 感受野大小有限,无法捕获复杂的结构，要么效率低下

基于这些缺点，RandLA-Net：

1. 寻找一种能覆盖整个点集且计算量可接受的采样方法–随机采样（Random Sampling，所以叫RandLA-Net）
2. 随机采样不是没有代价的，因此需要配套一种高效的局部特征学习器，过逐步增加每个点的感受野来保留复杂的局部结构

采样方法

1. 最远点采样：随机选一个初始点—找一个点集中离初始点最远的点—从剩余的点中选择一个与已选点集中所有点距离最远的点—直到选够。计算量太大，不适用于大规模点云
2. 逆密度重要性采样：看每个点的k近邻点密度—密度越高点越重要—从密度最低开始选子集直到选够。倾向于选择那些周围点较少的点，从而在减少点数的同时保留了点云的多样性，但是对异常值很敏感。而且计算量也挺大
3. 随机采样：贼快

然而，随机采样可能会导致许多有用的点特征被丢弃。为了克服这个问题，我们提出了一个强大的局部特征聚合模块（为了一个有价值的大洞打了一个大补丁）

Local Feature Aggregation局部特征聚合

由三个主要块拼成，1) 局部空间编码(LocSE)，2) 注意力池化，3) 扩张残差块
这张图画的很好：

LocSE

1. LocSE：输入的点云中，找到每个点云的k近邻，形成(k,3+d)，之后将三维特征(k,3)和其他特征(k,d)分开。(k,3)进行相对点位置编码，公式如下：
   生成(k,d)维的特征，然后与其他特征串联生成(k,2d)的中心点 pi 的局部几何结构进入注意力池化块。

注意力池化

2. 注意力池化：输入的局部几何特征 Fik 计算注意力分数 Sik，公式如下，函数 g() 由共享 MLP 和 softtmax 组成，其中 W 是共享 MLP 的可学习权重
   
   得到的Sik与之前的 Fik 作点积后计算加权总和，得到最终特征向量 fi。

总而言之，给定输入点云 P ，对于第 i 个点 pi ，我们的 LocSE 和注意力池单元学习聚合其 K 个最近点的几何图案和特征，并最终生成信息丰富的特征向量 fi

扩张残差块

3. 扩张残差块：受到Resnet的启发，多次叠加使用 Shared MLP + LocSE + AttentionPooling 组合，这样可以增大每个点的receptive field，就相当于间接地增加了每个点的传播范围。考虑多种因素该论文最后stack了两组。
   

注：该文中扩张卷积（dilated convolution）的体现并不是直接以传统意义上的扩张卷积层来实现，而是通过设计特定的网络结构来模拟扩张卷积的效果，从而增加每个点的接收场（receptive field）

注：LocSE和注意力池化都是扩张残差块的组成部分，一个块用两套，扩张残差块加上MLP变成了局部特征聚合LFA，四套LFA加上RS是网络的编码器部分；解码器部分则为四套MLP加上US，其中的US是最近邻插值