3D目标检测深度学习方法数据预处理综述

前言

这一篇的内容主要要讲一点在深度学习的3D目标检测网络中，我们都采用了哪些数据预处理的方法，主要讲两个方面的知识，第一个是representation，第二个数据预处理内容是数据增广。
作为本篇博文的引言，我们先给一种博主制作的比较重要的3D检测方法图鉴，如下，就笔者的个人理解，今年的CVPR出现了很多的one-stage的方法，同时出现了很多融合的方法，这里的融合有信息融合，有representation融合，同时根据近两年的发展来看,voxel-based的方法占据了主导地位，这是得益于卷积结构优越性（point-based方法采用pointnet++结构，是MLP搭建的），但是今年的oral文章3D-SSD是一篇在point-based方法上很有建树的文章，所以在3D检测中了解主要的representation代表方法也是很重要的。

1.representation

做3D视觉的，尤其是基于点云做3D视觉任务的同学们都比较清楚的知道，点云因为其具有稀疏性和无规则性使得在二维上非常成熟的CNN结构不能直接的运用在点云中。我们先了解一下点云的这两个特性，如下图所示，下图中的(i)表示二维图像的排列方式，（ii），（ii），（iv）表示的是点云的数据，可以看出点云的排列稀疏性，对比（ii）和（iii）可以得知虽然点云数据的排列顺序假使是一样的，但是其对应的几何结构不同，而（iii）和（iv）则可以看出尽管几何结构表示同一个，但是排列顺序却是可以不一样的。

知道了上述的两个点云数据的两种特性，所以设计一种合适的点云表达形式是比寻找到一个高效的深度学习框架更加重要的内容，就3D检测方面而言，到CVPR20，至少有三种比较重要和值得探究的representation方式，分表示pointrepresentation，voxel representation和graph representation。
1.1 point representation
如题，就是采用最原始的点作为深度学习网络的输入，不采用任何的预处理工作，这类工作都是在pointnet++的基础上进行的。
这里首选插入一点采用point-based方法的基础backbone，如下所示，左图表示的是pointnet的特征提取结构，也就是point-based的基础模块，右图就是point-based方法的基础架构，由point-encoder层和point-decoder层组成，encoder层主要逐渐下采样采点特取语义信息，decoder过程是将encoder过程得到的特征信息传递给没有被采样到的点。使得全局的点都具有encoder的特征信息。最后再通过每个点作为anchor提出候选框。

最早的工作是CVPR18上的F-pointnet，该文章的作者也是pointnet/pointnet++的作者，具体做法如下可知，首先通过二维的检测框架得到二维目标检测结果，然后将二维检测结果通过视锥投影到三维，再采用三维破pointnet++延伸结构检测为三维目标框。算是三阶段的基于point输入的目标检测方法