5、PointNeXt

5、PointNeXt

关于PointNeXt实际上仅仅是在PointNet++的基础上做了一些改进，从它的全称就可以看出，Revisiting PointNet++ with Improved Training and Scaling Strategies，在PointNet++的基础上，引入了反向残差瓶颈设计和可分离 MLP，从而实现了高效的模型扩展。在数据增强方面尝试使用更多的方法。

改进点

从本质上来说，没有改变PointNet++的架构图，只是在原来的基础上加上了反向残差瓶颈设计和可分离 MLP。

1. 在数据增强方面，采用了多种方式进行数据增强，包括点重采样数据缩放，并将整个场景加载为输入，随机旋转，随机缩放，平移到移位点云，抖动向每个点添加独立的噪声，高度附加，颜色自动对比度自动调整颜色对比度[56]，颜色丢弃随机用零值替换颜色等。
2. 模型架构方面，在原来的基础上加上了反向残差瓶颈设计和可分离 MLP，损失函数、优化器、学习率调度器和超参数等优化技术对神经网络的性能也至关重要。一般来说，具有标签平滑、AdamW 和余弦衰减的交叉熵可以很好地优化各种任务中的模型。

架构图对比

从下面两幅图的对比可以看出，所提出的 PointNeXt 和经典 PointNet++ 之间的差异以红色边界突出显示，就是在数据处理之前增加了数据增强操作，以及在每个SA层后面加上了反向残差瓶颈设计（InvResMLP）和可分离 MLP。

PointNet++架构图

PointNeXt架构图

反向残差瓶颈设计（InvResMLP）

概念：最早由 MobileNetV2 引入，主要思想是通过先扩展通道数，再通过深度可分离卷积减少计算量，最后压缩回去。这个结构能够在保持模型性能的同时降低计算复杂度。它包括一个倒置的瓶颈结构：输入先通过扩展层增加通道数，接着通过深度卷积进行计算，最后再通过线性层将通道数减少。

PointNeXt将这个机制引入到PointNeXt中来减少计算量，并且使特征提取更加丰富。

可分离 MLP

局部特征提取：PointNeXt 会对点云的局部邻域进行采样，并使用类似于 MLP 的层来对局部点进行特征提取。传统的 MLP 会对输入的所有维度进行联合操作，但可分离 MLP 会将输入的特征进行维度分离，分别对空间维度和通道维度进行处理，类似于卷积神经网络中的深度可分离卷积。

维度分离的 MLP：这种分离使得计算复杂度显著降低，同时保留了特征提取的能力。尤其是在处理高维点云特征时，使用可分离 MLP 能够有效减少计算量，并提升模型的效率。

深度可分离卷积：

• 先depthwise深度卷积主要宽和高方向信息的卷积，采用3个3x3x1的卷积核，每个channel对应一个卷积核，红色通道对应红色卷积核卷积，最终得到三通道的featuremap。
• 后pointwise逐点卷积使用1x1x3的卷积核进行卷积，计算三通道的值累加，实现多通道信息融合。

调整后的影响

使用浅绿色、紫色、黄色和粉色背景颜色分别表示数据增强、优化技术、感受野缩放和模型缩放之后的效果对比图