关于点云处理研究方向的一些思考

关于点云处理研究方向的一些思考

因为我现在的研究方向的baseline是基于MLPs或者一般的基于核的点云处理框架所以我就不考虑和讨论图卷积的领域。

几何信息与语义信息的关系

点云在处理中生成的特征，从Pointnet开始就可以看作是两类了，一类是以采样后的坐标为代表的几何信息，当然也可以包括法向信息和相对位置等等。另一类就是以通道信息为代表的语义信息。如何处理这两者的关系，可以看作是一个研究方向。

局部、全局与区域的概念

在我看来，现有的点云处理框架大多停留在局部或者全局或者伪区域的概率。
局部的代表就是PointNet网络框架了，在处理点云的时候初始的特征提取只在单个点上进行，所以就是纯纯的局部的概念。
全局的代表也可以说是PointNet因为最后在进行特征聚集的时候，PointNet是采用一个对称函数（最大池化层）进行特征聚集的，所以这一部分也可以看作是一个纯纯的全局的概念。当然更多的全局概率其实用用在non-local和transformer上面，前者的提出的理论就是天涯若比邻的概率，每个点在特征生成或者变换的时候，都会受到点云中所有点的影响。后者是以self-attention为基础提出的，所以也算是全局的概率。因为transformer在二维和翻译上运用的很火，在三维中的扩展也算是最近的一个热点吧。斯坦福大学提出的point transformer 现在在S3DIS数据集上效果排第一。
伪全局的概念其实就可以用Pointnet++中的采样和分组后的结果去看，分组的时候采用的是KNN或者是在等半径球里进行分组的，虽然看起来由区域的概率，但是这个区域在现实中是不完整的，或者甚至可以说是没有物理意义的，只是用周围领域的特征对采样点的特征进行一个调整优化。
真正的区域我还没有在三维中看到，二维好像还是有好几篇基于区域的文章，也许可以借鉴一下。

多样化的损失函数

现有的网络框架