文章目录
好文不嫌晚,思想最主要,Trade-off,不变的宗旨。
1. 概要
会议:NIPS19 spotlight
论文:https://arxiv.org/abs/1907.03739
机构:MIT &上交
方法:PointCloud + Voxel 的表达= Point-Voxel融合的表达
代码:https://github.com/mit-han-lab/pvcnn
讲解:https://www.bilibili.com/video/av87529356
2. 动机
Voxel-based的点云处理方法 :
- 优点: 具有良好的内存存储性(有序存储、方便访问)
- 缺点:需要较高分辨率,消耗较多GPU内存,如图2(a)所示。
这主要是由于体素信息所需分辨率越高时,需要的计算成本和内存需求就越高。例如:输入尺寸 64 × 64 × 64 64 \times 64 \times 64 64×64×64,Batch size大小为 16 16 16时,所需要的GPU内存>10G
Point-based点云处理方法:
- 优点:GPU内存更低
- 缺点:需要较多随机内存,且容易引起存储体冲突(Bank conflicts),这会大幅降低访问速度,如图1(b)。且考虑到硬件因素,内存的操作比算术做做代价更大,如图1(a)。
这是由于点是随机分布在整个三维空间的,所需需要较多随机内存访问,而这种随机内存方法效率非常低。例如PointNet++里的邻居聚合就需要复制一整份点云,导致内存消耗 o ( n 2 ) o(n^2) o(n2),还有一部分来源于动态内核计算,这是由于相对位置的不固定引入的,如图2(b)所示。
总的来说,就是voxel占内存,而Point则花费了大量时间在内存读取和kernel生成上。
所以,为了解决Voxel-based和Point-based存在的问题,提出了Point-Voxel CNN(PVCNN)结构。其优势在于: - 利用点云的稀疏表示减少内存占用,比Point-based最先进方法快7倍速
- 利用体素的卷积获得连续内存表示,比baseline内存消耗少10倍
3.方法
整体的框架如下图所示:包含了两个分支:Point分支+Voxel分支,核心部分在于如何将voxel的特征最后嵌入并融合到点云当中。
3.1 Point分支
目的:提取全局特征
做法:常用MLP,类似PointNet结构。
3.2 Voxel分支
目的:提取局部特征
步骤:1. 正则化;2. 体素化;3. 特征聚合; 4. 去体素化;
3.2.1 正则化 (Normalization)
目的:针对点云坐标做一个规范化处理(只针对坐标处理,不针对特征),范围在[0,1]内。为后续的体素化做好准备。
将点坐标记做: p k p_k pk