Point MLP 文章详解

目录

概括

PointMLP的设计理念

PointMLP框架详细介绍

整体流程

几何仿射模块(⭐⭐⭐⭐)

PointMLP的基本架构

代码链接


概括

本文是关于点云分析的新视角和方法。点云数据因其无规则和无序的结构而难以处理,传统方法主要依赖于探索复杂的局部几何特征提取器,如卷积图或注意力机制。然而,这些方法在推理阶段会产生不利的延迟,且近年来性能已趋于饱和。本文提出了一个纯粹的残差MLP网络,命名为PointMLP,它不依赖于“复杂”的局部几何特征提取器,但仍展现出极具竞争力的性能。通过引入一个轻量级的几何仿射模块,PointMLP在多个数据集上达到了新的最佳状态。特别是在实际应用的ScanObjectNN数据集上,该方法的准确率甚至超过了之前最好的方法3.3%。PointMLP的主要优势在于它不需要任何复杂操作,因此具有更快的推理速度。

PointMLP的设计理念

作者指出,详细的局部几何信息可能不是点云分析的关键,因此提出了一个简单的残差MLP框架(PointMLP)。该框架通过引入一个轻量级的几何仿射模块来适应地转换局部点特征,而不依赖于任何复杂的局部几何特征提取器。

21年时最先进的点云网络:CurveNet

当前的算法在局部细节提取方面已经做的非常好了,因此应该重新思考复杂局部特征提取器的必要性,并进一步审视点云分析中简洁的设计理念

为提高性能和泛化能力,作者引入一个轻量级局部几何仿射模块(自适应地变换局部区域的点特征)

点云处理主要有两种流派:投影到体素 -- 转换为图像问题直接处理原始点云集

局部点云信息的探索主要分为三类:基于卷积、基于图和基于注意力三种方式。

代表作:

基于卷积的方式(PointConv )

基于注意力的方式(Point Transformer)

PointMLP框架详细介绍

整体流程

对于给定的输入点云,使用残差MLP块逐步提取局部特征。在阶段开始前,首先使用几何放射模块变换点云,然后在聚合操作前后通过残差MLP块逐步提取特征。(通过重复多个阶段,逐步扩大感受野,达到对点云几何信息的完整建模)

PointMLP是一个为点云分析设计的深度残差MLP(多层感知机)网络,它通过简单的前馈MLP块来层次化地聚合局部特征,而不依赖于复杂的局部几何特征提取器。这一部分从数据输入开始,详细讲解了PointMLP的框架、几何仿射模块、计算复杂性,以及其精简版本。

轻量级的几何仿射模块:将局部点转换为正态分布

PointMLP中的残差模块可以表示为:

其中,𝜙𝑝𝑟𝑒(⋅)和𝜙𝑝𝑜𝑠(⋅)表示残差MLP前后的操作,𝜙𝑝𝑜𝑠(⋅)用于从局部区域中学习共享权重,𝜙𝑝𝑟𝑒(⋅)用于提取深度聚合特征。𝐴表示聚合函数(最大池化)。局部邻点由K近邻来实现。

作者认为,映射函数可以写为一系列的同质残差MPL块。(MLP(x)+x)

几何仿射模块(⭐⭐⭐⭐

作者认为,仅使用共享残差MLP难以捕获点云局部区域的几何结构(稀疏性和不规则)。

为此,提出如下坐标仿射变换来转换每个形心点局部邻域内的点。

(通过几何仿射模块来转变局部邻域内的点,以更有效地捕获和利用局部几何信息 -- 改进模型对局部几何结构的适应性和表征能力)

设计思想:点云数据的局部几何结构在空间上是多变的,因此难以应用统一的处理方式来有效提取特征。为此,作者通过几何仿射变换动态地对每个点的局部特征进行变换,以适应其局部几何结构。

注:𝜀=𝑒−5=是一个很小的数值(用于保持分母不为零)。𝛼,𝛽表示可学习的参数。𝜎表示局部邻域内点特征的标准偏差,用于衡量局部领域内各点特征与局部中心点特征之间的变异程度或分散程度。

在几何仿射模块中,使用𝜎对局部邻域内的点进行特征缩放,是为了将局部邻域内的点特征映射到一个具有统一尺度的空间中,使模型更容易理解和处理不同局部几何结构之间的差异。

(这里可以理解为坐标编码 -- 例如Point transformer中的位置编码),在保留几何信息的情况下统一坐标。

PointMLP的基本架构

1、特征嵌入:初始阶段,对点云进行特征嵌入(将较低维度数据映射到较高纬度的特征空间)。 -- 后接一个全连接层(FC)将每个点映射到高维空间。

2、残差MPL块:特征嵌入后,数据通过一些列残差MPL块。每个残差MPL块由多个FC层、正则层(批量归一化-BN)、激活函数层(ReLU)和残差连接构成。(作者认为残差MPL块可以很好提取点云中的局部特征)

3、几何仿射模块:通过对点特征进行轻量级仿射变换,是网络能够适应不同的局部特征结构。

代码链接

GitHub - ma-xu/pointMLP-pytorch: [ICLR 2022 poster] Official PyTorch implementation of "Rethinking Network Design and Local Geometry in Point Cloud: A Simple Residual MLP Framework"

  • 23
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

晨晨丶

你的鼓励是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值