3D点云语义分割认知随便写写（更新中）

1目前点云处理中的大体方法：

其中点投影(projection-based)的方法有：

其中直接点云处理(point-based)的方法有：

国科大在2020年，发表一篇点云方向综述文章。

2Transformer方法的点云方向

2.1 Transformer点云语义分割

点云Tranformer方向上，除了Point Tranformer、清华的PCT外,新出的一篇文章叫 CpT: Convolutional Point Transformer for 3D Point Cloud Processing。PointTransformer：U形架构，简单的self-attention头，KNN和FPS算法。PCT：偏移注意块。CpT方法在S3DIS数据集上和Point Transformer持平,但CpT没开源。2022年CVPR提出Point-BERT。

2.1.1 Point Transformer

提出transformer+U型架构地逐点分类。其逐点方式采取地是采用位置编码。
年份及期刊：2020 年 12 月 16 日 arxiv cs Computer Vision and Pattern Recognition
精度: S3DIS数据集miou 68.7%

2.1.2 PCT: Point cloud transformer

年份及期刊：2021 年 4 月 Computational Visual Media

2.1.3 Point-BERT: Pre-training 3D Point Cloud Transformers with Masked Point Modeling

年份及期刊：①Arxiv 2021 年 11 月 29 日 ②2022CVPR
对于之前的point transformer和point cloud transformer，作者认为其与真正的trasnformer还是差点(out of line)，要进行最小化归纳偏执。论文详细地讲述了其动机，并认为基于逐点生成词牌是耗费大量算力并且单个点不像在自然文本语言中的词一样具有结构作用,所以将点云分成各个局部点云（平均重叠率50%）看作词牌。其论文类似于图像中的vit，但具体的实现思路是全新的，涉及到了大量的点云算法包括基本的knn、fps、还有DGCNN等算法，和自然语言处理MPM等思路。将点云理解为一个个局部点云，用离散词牌代替，在建立惩罚函数时，用到了概率统计知识。

2.2 Transformer点云配准

2.2.1Geometric Transformer for Fast and Robust Point Cloud Registration

① 2022年2月14 ② 2022CVPR
它为了配准，提取特征时采用的geometric self-attention，其特征向量学习，主要是距离元素和角元素。距离元素是两ij点之间的距离，角元素是i点及i周围点、两点ij之间相连的矢量直线所夹的角投影至特定空间求取的最大值。

3点云卷积方法

3.1KPConv

KPConv是点云中的卷积思想下的一种方法，ICCV 2019。经过源码阅读，本系列有篇博客介绍了被KPConv作者一笔带过的点云能量输入方式。同时对比了point transformer与KPConv方法的对比。
目前在测绘领域中，ISPRS期刊中，有学者针对此方法进行了改进。LGENet: Local and Global Encoder Network for Semantic Segmentation of Airborne Laser Scanning Point Clouds。ISPRS 摄影测量与遥感杂志 第 176 卷，2021 年 6 月，第 151-168 页
精度: ISPRS数据集miou 84.5%、F1score 73.7

4 3D点云语义分割的问题

胡庆拥2021《Towards Semantic Segmentation of Urban-Scale 3D Point Clouds: A Dataset, Benchmarks and Challenges》中提出了新的数据集，该论文的介绍视频链接：https://www.techbeat.net/talk-info?id=489。其论文中提出了目前城市规模的3D点云语义分割一些关键开放性的4个问题。
1，如何有效大规模地处理点到神经网络；
2，如何克服神经网络中的城市数据类别极端不平衡；
3，RGBD信息怎样帮助点云语义分类；
4，一个地区训练后的神经网络解决另一个地区。
RandLA方法，及调用

目前点云未来方向：
胡庆勇认为有点云少标注；可解释性；时空数据。

5 图像领域进展

在图像数据，在图像的Transformer方向上，有ViT、DETR及各种变式。CNN、Transformer正疯狂决斗，目前ConvNeXt卷积思想目前再次比肩swin transformer模型，https://www.zhihu.com/question/510965760。