3DmFV: Three-Dimensional Point Cloud Classification in Real-Time Using Convolutional Neural Networks

github程序链接

Fisher Vector 通俗学习

浅谈流形学习

此篇为对论文的理解。一下关键地方直接使用原文，避免误导。

Abstract—Modern robotic systems are often equipped with a direct three-dimensional (3-D) data acquisition device, e.g., LiDAR, which provides a rich 3-D point cloud representation of the surroundings. This representation is commonly used for obstacle
avoidance and mapping. Here, we propose a new approach for using point clouds for another critical robotic capability, semantic
understanding of the environment (i.e., object classification). Convolutional neural networks (CNNs), that perform extremely well
for object classification in 2-D images, are not easily extendible to 3-D point clouds analysis. It is not straightforward due to point
clouds’ irregular format and a varying number of points. The common solution of transforming the point cloud data into a 3-D voxel
grid needs to address severe accuracy versus memory size tradeoffs. In this letter, we propose a novel, intuitively interpretable, 3-D
point cloud representation called 3-D modified Fisher vectors. Our representation is hybrid as it combines a coarse discrete grid structure with continuous generalized Fisher vectors. Using the grid enables us to design a new CNN architecture for real-time point cloud classification. In a series of performance analysis experiments, we demonstrate competitive results or even better than state of the art on challenging benchmark datasets while maintaining robustness to various data corruptions.

摘要的摘要：提出一种性能优秀的三维点云表示方法：三维修正Fisher矢量（3DmFV）。

   深度神经网络在图像分析中表现出色，但是点云是非结构化、无序的，点云数量也不尽相同，所以它们不能自然地适应空间阵列（网格）。目前有几种解决方法，其中之一是将3D点云数据栅格化，但是这种方法的计算成本和近似精度需要折衷。这篇论文采用的3DmFV来表示点云，通过它们与高斯混合模型（GMM）的偏差来描述点。此法和Fisher Vector相似，但是它以两种重要的方式进行修稿和推广：the proposed GMM is specified using a set of uniform Gaussians with centers on a 3D grid, and the
components characterizing the set of points, that, for Fisher vectors, are averages over this set, are generalized to other functions
of this set.（建议的GMM使用一组重在在3D栅格的归一化的高斯，对于FV来说，表征点的分量是该集合的平均值，可以推广到该集合的其他函数）。

优点：保持了点云的连续属性，保留了一些点集的精细细节，并且在某种条件下是无损的，可逆的。其次，网格状结构可以使用卷积神经网络，低分辨率也难怪呢产生出色的分类精度。最后，所提出的每个组成不能都是直观可解释的。

3DmFV网络分类架构由两部分组成，一是将输入点云转化为3DmFV表示，而是将转化后的架构输入CNN架构。如下图所示。

 此方法建立在FV表示上（文章开头有参考博客）。

 

FV作为DNN输入的优点

它将点云的可变数目转化为固定大小，其组成部分为各个点的函数的归一化和。因此，点集的FV表示对于顺序、结构和样本大小是不变的。

此法任务 FV表示在点集上是连续的，受此缺点的影响较小。有三个论点支持这一主张。

1.方程计数参数。

2.在简化的孤立案例中重建代表点结构

3.使用湿度解码器从FV中重建点云

将FV推广到3DmFV

3DmFV的推广

改变混合模型 ；更改/添加其它对称函数；归一化。

3DmFV-Net分类架构

网络的主要部分包括一个Inception模块，最大化层，四个全连接层。网络输出分类分数。