1.了解什么是点云
点云是坐标系下点集合而成的,点云中包含大量的点,这些点包含了位置(XYZ)、颜色等信息。
但点云相比于图像中像素点而言,像素点是有序的,像素点位置的改变会改变图像的含义,而点云中点具有无序性,点与点之间交换位置不会改变点云的含义,这就使点云出现了不稳定性,也是点云存在的缺陷。
点云可以通过卫星激光扫描、机载激光、手持激光相机等获取
相比图像,点云是3维数据,它可以提供更多的信息。
参考1:https://zhuanlan.zhihu.com/p/22581673
2.点云在深度学习中的应用
pointnet网络
pointnet网络检测:首先将输入的点云图中点的特征数进行升维操作(图中的mlp操作,类似神经网络中的上采样),之后提取每一维特征的最大值组成新的向量,该操作可有效避免点云的无序性。将新得到的向量根据划分好的类别就可以实现目标的检测。
上面两图点的位置交换不会影响最后的取最大值后的向量。
pointnet网络分割:从输出到取最大值向量都与上述方法相同,得到最大值向量后将其与原特征向量拼接,用于点云分割任务。
pointnet++网络
pointnet网络只提取点云中最大值作为整体特征,这使的点云中特征大部分没有被用到,没有考虑到点云的局部特征,所以pointnet++加入了关注局部特征的算法。
pointnet++原理:首先通过最远点采样,采集具有代表性质的点,之后以这些点为中心进行球状领域查询,进行局部特征的提取,之后重复进行最远点采样到满足参数要求,将这些局部特征作为输入输入到pointnet网络进行后续操作。如果是分割任务,则需要将得到的特征通过邻近算法计算中心点附近的点逐渐还原点云。