【 论文笔记】大规模点云分割 RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds CVPR 2020

牛津大学,国防科技大学

代码:地址

官方论文讲解:地址

本文提出轻量级高效的大规模点云语义分割算法:RandLA-Net。其单次可处理 1 0 6 10^6 106个点,速度相较于基于图的SPG方法快了200倍,且内存占用较小,语义分割精度SOTA。

现有方法均不能处理大规模的点云数据,局限在较小规模的场景和点云数据上,作者认为主要原因有:

  1. 点云采样方法计算量大,内存占用高(这个是主因,除了随机采样,常用的采样算法都太慢了)
  2. 点云局部特征学习器均依赖于kernelisation或graph construction,速度慢
  3. 对于大规模点云,局部特征学习器感受野不足,不能捕获复杂的几何结构信息。

因此,本文RandLA-Net 针对以上问题做出了如下改进:

  1. 采用随机采样算法。

    相比之下,常用的采样方法有:

    • 启发式:最远点采样(O(N2)),反密度采样(O(N));在106规模的点云数据上处理时间分别为200s和10S。而随机采样方法只需要0.04s
    • 基于学习的方法:GS、CRS,更慢,分别是12000s和3000G的内存消耗,不能用。
  2. 提出一种有效的局部特征聚合模块 LocSE,通过逐步增加每个点的感受野来更好地学习和保留大场景点云中复杂的几何结构。

  3. 采用了基于注意力的点云特征池化方法,较之于maxpooling 精度更高。

最终RandLA-Net在多个大场景点云的数据集上都展现出了非常好的效果以及非常优异的内存效率以及计算效率

当然,使用随机采样是有代价的,随机采样可能会丢弃一些关键点云,造成几何信息的丢失,这也是为什么现有方法使用其他采样方法的原因。作者因此设计了更加高效的局部特征融合机制来补偿。

网络结构

层层降采样:通过堆叠多个局部特征聚合模块和随机采样层来实现RandLA网络

在这里插入图片描述

其中,局部特征聚合模块由3个模块组成:局部特征编码,注意力池化,空洞残差块。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BV61v2nm-1598173648704)(C:\Users\phy12321\AppData\Roaming\Typora\typora-user-images\image-20200823163308334.png)]

1.局部特征编码,Local Spatial Encoding

输入N个点,每个输入的点特征为坐标(3)+RGB(d=3)

  • 使用KNN算法找到K近邻

  • 相对坐标编码:

    对每个点i的第k个近邻,计算新的特征:
    r i k = M L P ( p i ⊕ p i k ⊕ ( p i − p i k ) ⊕ ∥ p i − p i k ∥ ) ⊕ 代 表 连 接 操 作 \mathbf{r}_{i}^{k}=M L P\left(p_{i} \oplus p_{i}^{k} \oplus\left(p_{i}-p_{i}^{k}\right) \oplus\left\|p_{i}-p_{i}^{k}\right\|\right)\\ \oplus 代表 连接操作 rik=MLP(pipik(pipik)pipik)
    该特征将绝对坐标、相对坐标以及距离中心点的距离使用MLP编码到特征中

  • 特征扩增:

    对每一个点,将计算得到的r特征和原来的特征f连接在一起得到新的特征: f ^ i k \hat f_i^k f^ik

2.注意力池化,Attentive Pooling
  • 根据扩增后的点特征计算注意力权重:

    对每一个点,使用权重为W的共享函数g()计算其领域内K个点的权重:
    s i k = g ( f ^ i k , W ) \mathbf{s}_{i}^{k}=g\left(\hat{\mathbf{f}}_{i}^{k}, \boldsymbol{W}\right) sik=g(f^ik,W)

  • 将扩增后的点特征加权求和:

    将每一个点的领域内k个点的扩增特征加权求和得到该点的池化后的特征:
    f ~ i = ∑ k = 1 K ( f ^ i k ⋅ s i k ) \tilde{\mathbf{f}}_{i}=\sum_{k=1}^{K}\left(\hat{\mathbf{f}}_{i}^{k} \cdot \mathbf{s}_{i}^{k}\right) f~i=k=1K(f^iksik)

所以1、2两个模块(L、A),将输入的点云进行局部K近邻特征的融合,得到了最终的点特征: f ~ i \tilde{\mathbf{f}}_{i} f~i

3.空洞残差块

将多个LocSE,Attentive Pooling以及skip connection连接在一起组成扩张残差块(Dilated Residual Block) 可以达到扩大感受野的效果:
在这里插入图片描述
因此本文级联了两个LA模块,再多可能速度就慢了(还有过拟合)。

语义分割网络:

最后,将随机采样以及局部特征聚合模块组合到一起,基于标准的encoder-decoder结构组建了RandLA-Net。
网络的详细结构如下图所示,
在这里插入图片描述

可以看到,输入的点云在RandLA-Net中持续地进行降采样以节约计算资源及内存开销。
此外,RandLA-Net中的所有模块都由简单高效的feed-forward MLP组成,因此具有非常高的计算效率。
最后,在解码器中的上采样阶段,不同于广泛采用的三线性插值(trilinear interpolation),论文选择了更加高效的最近邻插值(nearest interpolation),进一步提升了算法的效率。

实验结果

关于采样算法的时间空间效率的实验跳过,总之就是随机采样最快,其他的在大规模点云上速度非常慢。

Rand LA能达到22FPS的速度。

  • 语义分割任务:

在这里插入图片描述

在这里插入图片描述

上面是point-based的方法,精度相对较低,中间是projection-based 的方法,精度相对较高但是模型很大。

下面是本文方法,SOTA。

消失实验用于验证各个模块的作用

在这里插入图片描述

本文方法可以用于端到端、实时大规模点云处理任务(实例分割、检测等)

  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: randla-net是一种高效的大规模点云语义分割方法。它采用了一种新颖的点云降采样方法,可以在保持点云形状信息的同时大大减少点云数量。此外,它还使用了一种基于局部区域的特征提取方法,可以有效地捕捉点云中的局部特征。最终,randla-net可以在保持较高分割精度的同时,大大提高分割速度。 ### 回答2: Randla-Net是一种高效的大规模点云语义分割方法,它利用深度学习方法实现对三维点云数据中物体的自动识别和分类。在智能驾驶、金字塔建设、城市规划和3D建模等领域,点云数据已经成为一种重要的数据形式。在处理点云数据时,常常需要对点云中的各种物体进行语义分割,划分出物体的类别和边界,以进一步进行场景分析和建模。 Randla-Net的关键思想是将点云数据转换成局部规则网格(LHG)型式,然后对规则网格应用神经网络模型,实现对点云的语义分割。相较于传统的点云分割方法,Randla-Net的解决方案更加高效,并且能够适应大规模点云数据的处理。具体来说,Randla-Net采用的局部规则网格可以大大减少点云数据的复杂性,减少无效数据的计算,同时保证点云数据与原始数据的对应性。神经网络模型的引入能够提高计算的全局一致性,并在语义分割中对局部特征和位置被高效获取。此外,Randla-Net融合了RANDomized LAyered points(简称RANDLA)的思想,可以抽取多级别多方向的特征,使得点云数据在语义分割中的处理更加准确。 总之,Randla-Net是一种快速、有效、准确的大规模点云语义分割方法,其优点在于可以处理复杂的大规模点云数据,同时在语义分割中能够提供更高的计算效率和更精确的结果。它的应用将会推动点云技术的发展,为智能驾驶、建筑、机器人、VR/AR等领域提供更加精确的三维场景建模工具。 ### 回答3: RandLA-Net是一种高效而准确的点云语义分割神经网络,专为应对大规模点云场景而开发。该网络的核心功能在于通过快速地对点云数据进行聚类、降采样和投影等操作,实现了对点云进行语义分割,并能够输出详细的分割结果。 RandLA-Net相对于传统点云语义分割算法的优势在于,该算法不但能够处理大规模点云数据,同时还利用了矩阵分解的方法来提高运行速度。因此,该算法在极端情况下也能实现快速和准确的分割,如在不同分辨率、不同大小和不同密度的点云数据上。 RandLA-Net的另一个创新点在于使用了自适应滑动窗口的方法,就是通过分析点云的特征分布,来自动选择和匹配最适宜的窗口大小,以此进一步提高分割效果。同时,该算法还考虑到了实际应用场景中存在的地面、建筑物等不同的目标物体,对各自进行分割和处理,以期达到更高的准确率。 总的来说,RandLA-Net是一种高效、准确、可扩展的神经网络,为卫星、城市规划、无人驾驶等领域提供了强大的支持。该算法的研究提供了新的思路,为点云语义分割界的研究者提供了很好的启示,也为工业界解决实际问题提供了新的思路。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值