三维激光雷达点云处理分类

原文：  https://blog.csdn.net/wqwqqwqw1231/article/details/90812528

目录

• 激光雷达点云的研究
• 激光雷达数据的处理方法分类
  • 体素
  • 转化为图像
  • 直接对点云操做
• 三种方式的优劣

激光雷达点云的研究

目前，学术界和业界对于激光雷达点云的处理方式的研究变的很是热门。我认为缘由有二：web

• 来自学术界的推力：对于图片中的许多问题有了突破性的进展，例如图片分类、语义分割和目标检测等问题。这些突破性进展使得计算机对2D世界的理解有了质的飞跃，那么若是将问题变难，计算机是否可以对3D世界中的相对应的问题有很好的的解决办法呢？获取3D信息的传感器典型的有双目相机、RGBD相机和激光雷达，而其中激光雷达的获取的数据精度最高，那么使用激光雷达点云数据处理上述3D问题就是很好的突破口。
• 来自产业界的拉力：人工智能的研究火爆，产业界也纷纷尝试将人工智能落地，自动驾驶产业则是既有市场又有突破的可能性，吸引了一大批商业巨头和创业公司。在自动驾驶的任务中，保证行车安全是第一任务，那么高精度的感知则成为了重中之重的模块，而激光雷达以其精度高、不易受光照影响等特色成为了自动驾驶车辆上不可缺乏的传感器之一。因此，对激光雷达点云的处理的方法则须要着突破性的进展。

激光雷达数据的处理方法分类

激光雷达数据的处理方法的的根源是深度学习在计算机视觉的发展。这里，咱们按照网络输入的格式进行分类。安全

体素

体素Voxel，英文多是来源于像素Pixel，将体素理解为3维的像素也是能够的。先来讲说像素，给定一张固定大小的图片，将图片均匀的分为不少小格子，每一个小格子就叫像素。那么对于给定的三维空间，将空间均匀分红不少3维小格子，每一个小格子叫体素。不一样点在于，相机的工做原理，在图像造成的同时就决定了图像是由像素组成的，并且相机的感光三通道决定了每一个像素的特征就是RGB。而体素并非数据固有的格式，激光雷达返回的数据是点云格式，须要预先肯定体素的大小，人工对点云区域进行分割，将点云格式转为体素格式。而在转化的过程当中，有的体素可能包含多一些激光点，有些体素包含少一些激光点，那么若是将一个体素内的激光点信息编码获得体素的特征也是一个研究内容。
那么为何要讲点云转为体素呢？这种想法我认为很大程度上是来自于图像，在CNN未取得突破性进展以前，体素也并无被十分重视，在CNN取得突破性进展以后，使用2D卷积操做提取特征显得很是有效。那相对应的，若是使用3D卷积提取点云的特征是否也一样有效呢？这样就推动了体素表达和3D卷积的研究。
Pytorch支持了3D卷积，使用nn.Conv3D便可，3D卷积离不开体素表示。体素表示的处理方法也就是3D卷积。网络

转化为图像

本人是作自动驾驶相关的激光雷达数据处理的，但将激光雷达转化为图像处理的方式也其余领域和问题上也很常见。我就拿自动驾驶场景举例，自动驾驶车辆搭载的激光雷达是经过360度旋转扫描周围环境的，例如64线激光雷达，是指64个激光雷达纵向排列，俯仰角不一样，而后经过旋转，达到对360度环境的采样。那么这种工做方式，很容易让人想到，扫出来的点若是转为柱坐标，就是能够根据俯仰角、转角和距离一一肯定的点，并且点和点之间有固定关系，展开就是一张深度图像，被称为Range View。因为考虑自动驾驶环境中的物体都是在路面上，在俯视图中通常是彼此无遮挡的，通过体素化，将每一层的体素都认为是一张图像的一个channel，就能够将雷达点云转为俯视图，Bird Eye View。
将雷达点云转为图像以后，那么各类问题的处理就变得很是容易，只须要使用在处理图像的成熟的网络便可。比较典型的网络有MVnet。svg

直接对点云操做

直接对点云操做，就直接看论文PointNet和PointNet++就能够了。
另一种思路就是，将点云表达为graph的形式，使用graph convolution进行处理。具体我也不是很了解。工具

三种方式的优劣

体素是从CNN直接扩展而来的，很是暴力，理解简单。但对于自动驾驶场景而言，体素化以后，有不少体素中没有雷达点，一般的作法是将其特征置0，0参与卷积以后的结果仍是0，至关于没有贡献。但这种体素稀疏的性质，使得大量的卷积是无用计算。另外一个问题是，体素是三维的，卷积模板也是三维的，那么计算起来就比二维的慢，并且卷积核移动的方向也是三维的，随着空间的大小的增大，体素的数量是以立方的数量增加，使得体素这种表达方式，不只使得计算缓慢，并且大量计算是无用的。固然，稀疏卷积spare convolution的研究能够部分解决这个问题。
转化为图像的操做，理解简单，工具现成。但转为图像势必要牺牲一些数据，结果好坏一部分取决于如何将经过点云数据构造图像的特征。
直接对点云操做，因为点云的无序性，使得对点云直接操做的研究要从头进行。PointNet系列和graph convolution的研究给了直接使用点云计算的可能性，但我以为这仍然是个待研究的问题。