大场景三维点云语义分割模型

大场景三维点云语义分割模型

https://blog.csdn.net/qq_43232556/article/details/106739355?utm_medium=distribute.pc_relevant.none-task-blog-title-4&spm=1001.2101.3001.4242

 

要点整理：

 

2D

按照某种方式投影到二维，利用成熟的2D语义分割网络

• Sequeeze Seg 系列：投影到2D前视图rang image（球面投影），进行2D卷积（SqueezeNet + CRF)

• Pointseg: rang image , FCN + 多尺度atrous conv+FPN

• VIASEG：

• LU-Net: 球面投影生成range image,  在range image中提取点云局部特征,得到N维特征图像(2D图HxWxN(H高，W宽，N为3D特征的维度也为此时2D图的通道数), 作为U-Net网络输入，对rang image进行分割,分割结果可以可视化在range image 和点云上，分割结果提升很大.

• RangeNet++：投影到2D，DarkNet53， 后处理问题kNN

 

3D

在三维空间中提取特征信息，也可以融合图像信息进行点云语义分割

• RandLA-Net (2020cvpr)：对比了几个采样策略，发现只有随机采样（random sampling）可以满足实时性要求，是大场景点云学习最合适的策略。但随机采样会造成信息丢失,于是提出Local Feature Aggregation（LFA模块：Local Spatial Encoding+Attentive Pooling+Dilated Residual Block）(细节:https://blog.csdn.net/qq_24505417/article/details/108977386 和 https://blog.csdn.net/qq_24505417/article/details/108982154 )

去除地面

• PASS3D：两阶段3D点云语义分割框架. 去除地面+分割.（快速聚类去除地面并获得候选点云簇，然后将点云簇进行坐标变化及数据增强（旋转和翻转），最后训练一个点云分割网络（PointNet++）得到每个点精确的语义标签）

• Ground-Aware：去除地面.

 

 

多源特征融合策略

• FuseSeg(2020cvpr)：扩展了点云分割网络squezeseg的特征，在激光点云特征中融入RGB特征（与LU-Net方向相反）

• 3DMV: 将从RGB图像中提取的特征后向投影到3D 体素网格中，使用多视图池化方法处理不同的RGB输入视图。

 

语义和实例联合检测

• JSIS3D：同时进行点云语义和实例分割。

• 3D-SIS：:同时进行RGBD数据的语义和实例分割。

• JSNet：backbone+点云特征融合模块（对backbone的不同层次特征进行融合）+联合实例语义分割模块+mean-shift聚类

 

其他

• SceneEncoder：

• Learning and Memorizing Representative Prototypes：

 

早些卷积、图卷积方法

• ECC（坐标点构建图，用边特征生成权重，权重特征维度与点特征维度一致，再与点特征直接元素相乘，最后聚合）, DGCNN(点特征构建动态图，聚合MLP的输出得到中心点特征，同时比较了局部特征和全局特征）， RSCNN（用距离特征生成权重再与点特征加权）。三者很相似。