【计算机视觉】简述对BAF-LAC（大场景点云分割）的理解

对于RandLA来说，算是近几年大场景点云分割的一个开篇之作，它提出的LFA模块去聚合局部的特征并且结合全局特征去实现分割的效果，它的网络框架也被现在很多算法网络去进行改进更新。目前很多网络都是在RandLA的基础上改进的，例如我博客里面的DLA-Net（添加类似于Point Transformer的自注意力模块去加权特征），LFA-Net（局部特征的注意力加权），DNNE（框架类似于RandLA，搜索邻域时进行了扩张搜索），它们都是在RandLA的基础之上去更新的。今天给大家介绍的是一种添加了局部聚合分类的反向传播注意融合网络，该网络与RandLA的不同在于它在结合上下文信息时（编码和解码层）融合了不同尺度的点云特征，并且与解码层的同尺度点云特征进行拼接输出，并且在最后输出模块添加了LAC（局部融合分类器），实际上就是类似于图卷积中的边卷积，对该尺度点云周围点信息进行一个联系学习。整体的网络框架可以是BAF-ED+LAC。

其实它的编码和解码模块与RandLA的一模一样，就是它添加了反向传播注意融合模块，假定Fe是编码层特征，Fd是输出的解码层特征，对于同一尺度同一维度的编码层和解码层的点云信息，他不是简单的拼接，而是在编码层的下一尺度进行一个注意力学习，与该编码层特征结合后与解码层的上一层的输出拼接，得到该解码层的输出特征Fd。其中，Fe，Fd和过度特征Fa的表达如下：


下面的网络结构是反向传播特征融合模块局部示意图，对于编码层得到的拼接特征，它进行了一下数据增强，然后在与解码层的上一层特征进行拼接后的MLP映射。

对于LAC模块，它主要先采样一个中心点，然后利用邻域的点和中心点的相对位置关系，去学习一个边e的特征，相当于图卷积中的学习邻域局部特征的作用，最终的特征表示为顶点特征加上最大的边特征。



BAF-LAC这个网络在Semantic3D数据集上的Miou为78.3，为上游水平，其他的实验参考论文，它做了关于BA、FE、LAC模块的消融实验，单纯从结果来看，其实每个模块的作用都只是增加了一点点。