pointNet++创新点

最新推荐文章于 2024-04-08 16:23:12 发布

yiqiang_wu

最新推荐文章于 2024-04-08 16:23:12 发布

阅读量681

点赞数

分类专栏：点云分割文章标签：点云分割 pointnet

本文链接：https://blog.csdn.net/qq_29572513/article/details/94016290

版权

2 篇文章 0 订阅

订阅专栏

体素结构
可以看成一个一个的立方体格子搭建起来的3D世界，比如《我的世界》游戏中，所有的物体包括建筑物、树木、人物、锤子等都是由一个一个的小立方格子按照一定的方式组合起来的。与图像类似，4k的分辨率看起来会比2k的分辨率要清晰很多，如果这个最小的小立方格子太大，就会让人感觉画面非常粗糙，很多细节丢失。
multi-view
mesh
pointcloud

pointNet++的特征学习由以下几个步骤组成：采样，分组，对每组利用pointNet网络提取特征。

问题：假设由n个点，需要从这n个点中提出m个点，使得这m个点彼此之间相距尽可能远。
方法：

随机选择一个点作为初始点放入集合C中
while len(C) < m:
	遍历所有点，找到离集合中所有点最远的一个点，加入集合中。

问题：对于集合C中的每一个点，需要找到最近的K个点以便后面pointNet能学习到以这个点为中的周围局部的特征。
方法：

将每一个组（共m个）都输入到PointNet中去，得到m个特征（m个向量）。输入进PointNet之前，需要先将每个组的坐标做个小变换：将原点都变成采样步骤中得到的那个点。

总而言之，经过这个部分的操作后，输入为n*d的张量，输出为m*d'的张量，其中，m<n，d'>d。

问题：我们的模型需要对不同密度的点云具有足够的泛化能力。由于采集设备的差异，我们得到的点云数据会具有不同的密度。比如，对同一个目标，64线的激光雷达采集到的点一定要比128线激光雷达采集到的点要稀疏。
方法：

Multi-Scale grouping(MSG)
一个简单的方式是对于输入的点云中的每个点（实际上是部分点，比如95%的点，这样防止得到空的点集），都以一定的概率 $t h e t a$ 舍去。这样因 $t h e t a$ 的不同，就会得到不同密度的点云。对不同密度的点云都是用上面提及的单层级特征学习组件提取特征，再做concat，这样通过反向传播就可以学习对不同密度的点云具有鲁棒性的特征。
由于这种方式相当于是重复进行好几次特征提取操作，因此比较耗时。从后面的实验效果来看，这种方式比下一种准确率更好一些。
Multi-resolution grouping(MRG)
对于输入为n*d的点云，使用单层级特征学习组件提取特征得到m*d'的张量1，对于这个张量1，再次使用特征学习组件提取特征，得到q*d_2的张量2，其中n>m>q,d<d'<d_2。张量1和张量2就分别代表不同密度的点云提取到的特征向量。然后将这两个向量concat起来，当然，由于尺度不一样，需要对张量2进行上采样，变成m*d_2，再做concat。

点云分割实际上就是给点云中的每一个点分配一个类别（一个向量，向量中最大值所对应的类别即为点的类别）。因此，类似二维图像中的FCN网络，这里插值操作进行上采样。这样，经过两次上采样操作和concat操作后，就会得到n*(d'+d_2)的张量，再用一个1*1卷积得到n*K的张量，这里K指类别。

相比于pointnet，pointnet++的主要贡献可以分为两部分:

关注