三维点云体素滤波python_一种基于点云的Voxel（三维体素）特征的深度学习方法...

兰州大学在读硕士研究生，主要研究方向无人驾驶，深度学习；兰大未来计算研究院无人车团队负责人，自动驾驶全栈工程师。

之前我们提到使用SqueezeSeg进行了三维点云的分割，由于采用的是SqueezeNet作为特征提取网络，该方法的处理速度相当迅速(在单GPU加速的情况下可达到100FPS以上的效率)，然而，该方法存在如下的问题：

第一，虽然采用了CRF改进边界模糊的问题，但是从实践结果来看，其分割的精度仍然偏低；

第二，该模型需要大量的训练集，而语义分割数据集标注困难，很难获得大规模的数据集。当然，作者在其后的文章：SqueezeSegV2: Improved Model Structure and Unsupervised Domain Adaptation for Road-Object Segmentation from a LiDAR Point Cloud 中给出了改进的方案，我将在后面的文章中继续解读。需要注意的是，在无人车环境感知问题中，很多情况下并不需要对目标进行精确的语义分割，只需将目标以一个三维的Bounding Box准确框出即可(即Detection)。

本文介绍一种基于点云的Voxel(三维体素)特征的深度学习方法，实现对点云中目标的准确检测，并提供一个简单的ROS实现，供大家参考。

VoxelNet结构

VoxelNet是一个端到端的点云目标检测网络，和图像视觉中的深度学习方法一样，其不需要人为设计的目标特征，通过大量的训练数据集，即可学习到对应的目标的特征，从而检测出点云中的目标，如下：

VoxelNet的网络结构主要包含三个功能模块：

(1)特征学习层；

(2)卷积中间层；

(3) 区域提出网络( Region Proposal Network，RPN)。

特征学习网络

特征学习网络的结构如下图所示，包括体素分块(Voxel Partition)，点云分组(Grouping)，随机采样(Random Sampling)，多层的体素特征编码(Stacked Voxel Feature Encoding)，稀疏张量表示(Sparse Tensor Representation)等步骤，具体来说：

体素分块

这是点云操作里最常见的处理，对于输入点云，使用相同尺寸的立方体对其进行划分，我们使用一个深度、高度和宽度分别为(D,H,W)的大立方体表示输入点云，每个体素的深高宽为(vD,vH,vW) ，则整个数据的三维体素化的结果在各个坐标上生成的体素格(voxel grid)的个数为：

点云分组

将点云按照上一步分出来的体素格进行分组，如上图所示。

随机采样

很显然，按照这种方法分组出来的单元会存在有些体素格点很多，有些格子点很少的情况，64线的激光雷达一次扫描包含差不多10万个点，全部处理需要的计算力和内存都很高，而且高密度的点势必会给神经网络的计算结果带来偏差。所以，该方法在这里插入了一层随机采样，对于每一个体素格，随机采样固定数目的点，T 。

多个体素特征编码(Voxel Feature Encoding，VFE)层

之后是多个体素特征编码层，简称为VFE层，这是特征学习的主要网络结构，以第一个VFE层为例说明：

对于输入：

是一个体素格内随机采样的点集，

分别点的XYZ坐标以及激光束的反射强度(即intensity)，我们首先计算体素内所有点的平均值 (vx,vy,vz) 作为体素格的形心(类似于Voxel Grid Filter)，那么我们就可以将体素格内所有点的特征数量扩充为如下形式：

接着，每一个

都会通过一个全连接网络(Fully Connected，FC,论文中用的是FCN来简称，实际上FCN更多的被用于表示全卷积网络，所以原文此处用FCN简称实际上不妥)被映射到一个特征空间

，输入的特征维度为7，输出的特征维数变成m mm，全连接层包含了一个线性映射层，一个批标准化(Batch Normalization)，以及一个非线性运算(ReLU)，得到逐点的(point-wise)的特征表示。

接着我们采用最大池化(MaxPooling)对上一步得到的特征表示进行逐元素的聚合，这一池化操作是对元素和元素之间进行的，得到局部聚合特征(Locally Aggregated Feature),即

 ，最后，将逐点特征和逐元素特征进行连接(concatenate),得到输出的特征集合: