NeurIPS 2019 | 麻省理工与上海交大共同提出新型点云处理框架Point-Voxel CNN

论文：Point-Voxel CNN for Efficient 3D Deep Learning

来源：NeurIPS2019 Spotlight

共同一作： Zhijian Liu (MIT), Haotian Tang(上海交大)

代码：https://github.com/mit-han-lab/pvcnn

项目：https://hanlab.mit.edu/projects/pvcnn/

3D深度学习广泛的应用到多个领域，如AR/VR和自动驾驶等，因此受到了越来越多的关注。在这些应用中往往需要很高的实时性。然而，终端设备(如手机和VR头戴设备)受到硬件资源和电池的严格限制。因此，设计高效、快速的三维深度学习模型是非常重要的。这篇文章巧妙地将voxel-based方法和point-based方法结合，新框架同时具备了两种方法的优点。

 

• 已有方法的缺陷分析

论文对已有方法的缺陷进行了细致地分析，这是文章重要的一部分。论文的分析很透彻，给笔者留下了很深的印象。

 

对于voxel-based类方法的缺陷，论文指出：这类方法难以平衡分辨率和内存的关系。当体素尺寸较大时，分辨率低，大量点云占据同一个体素，没办法很好地区分。然而，当减小体素尺寸，提高分辨率时，内存占用则会成三次方增加。其实voxel-based类方法的这个缺陷学界基本已经产生了共识，因此这部分此处就不再赘述了。

 

接着，文章对point-based方法的缺点也进行了分析。学界对于point-based方法的缺点还鲜有报道，这也是本篇论文比较新颖的地方之一。