点云是无序且不规则的数据,无法用现有的卷积神经网络进行计算和训练。所以自然就出现将规则化处理和卷积相结合,前面部分用规则化处理,后面部分接上一般的神经网络进行端对端的学习和训练。
VoxelNet
2017年苹果公司基于点云的3D物体检测论文“VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection”
具体思想
将三维点云划分为一定数量的Voxel,经过点的随机采样(使得较多点的网格采样后点变少,加快运行速度)以及归一化后(减少平移差异),对每一个非空Voxel使用若干个VFE(Voxel Feature Encoding)层进行局部特征提取,得到Voxel-wise Feature,然后经过3D Convolutional Middle Layers进一步抽象特征(增大感受野并学习几何空间表示),最后使用RPN(Region Proposal Network)对物体进行分类检测与位置回归。VoxelNet整个pipeline如下图所示。
![0ab3b42713f64da1bf7882f6aee16afd.png](https://img-blog.csdnimg.cn/img_convert/0ab3b42713f64da1bf7882f6aee16afd.png)
核心部分
Voxel feature encoding layer
对点云划分后基本上是按照pointNet的方式进行特征提取,彩色的表示point feature(也即local feature),灰色的表示这个划分中的global feature,concat