目录
一、PointNet基础知识
1、三维数据的表现形式
Point cloud:由矩阵的形式组成的
Mesh:由许多的正方形和三角形拼接而成的一个点云的形状。
2、PointNet之前的深度学习模型
在PointNet出现以前,点云上的深度学习模型大致分为三类:
●基于3DCNN的体素模型:先将点云映射到体素空间上,在通过3DCNN进行分类或者分割。但是缺点是计算量受限制,目前最好的设备也大致只能处理32 x 32 x 32的体素:另外由于体素网格的立方体性质,点云表面很多特征都没有办法被表述出来,因此模型效果差。
●将点云映射到2D空间中利用CNN分类
●利用传统的人工点云特征分类,例如:
●normal法向量
●intensity 激光雷达的采样的时候一种特 性强度信息的获取是激光扫描仪接受装置采集到的回波强度,此强度信息与目标的表面材质、粗糙度、入射角方向,以及仪器的发射能量,激光波长有关
●local density局部稠密度
●local curvature 局部曲奉
●基于维数尺度选择的三维激光雷达点云的线性、中面和散射问题
●基于弱监督分割的三维激光雷达点云城市场景分女垂直性特征
二、基于点云的置换不变性
置换不变性:点的顺序的存储不影响结果。点的排序不影响物体的性质。
当一个N ×D在N的维度上随意的打乱之后,其表述的其实是同一个物体。因此针对点云的置换不变性,其设计的网络必须是一个对称的函数。
缺点:造成大量的数据丢失,最后只是保存留有了最大值向量。
改进:升维度,例如原来的只是3维的,现在进行一个升维1024的处理,这样就会减少很少的信息丢失。
三、基于点云的旋转不变性
点云的旋转不变性指的是,给予一个点云一个旋转,所有的x , y ,z坐标都变了,但是代表的还是同一个物体。
流程:输入n个3维的点云进行T-Net网络后,学习生成一个3x3的矩阵。然后输入和3x3的点云进行相乘,相当于进行了一个旋转的校正,得到了符合要求的校正点云。
max pool:最大池化,相当于一个对称函数,满足之前要求的基于点云的置换不变性
global feature:全局特征值
如果说是一个分类的问题,则需要继续进行mlp处理,最终得到一个分类的评分。
四、PointNet的缺点
从很多实验结果都可以看出,PointNet对于场景的分割效果十分一般.
原因:网络直接暴力地将所有的点最大池化为了一个全局特征,因此局部点与点之间的联系并没有被网络学习到。