前言:点云领域里扩大感受野的方法DPC,发表在International Conference on Robotics and Automation (ICRA)2020
论文地址:【here】
Dilated Point Convolutions: On the Receptive Field Size of Point Convolutions on 3D Point Clouds
引言
在2D的CNN中,感受野指的是影响输出数据的输入数据区域大小。因此大的感受野能在一个大的上下文语义信息中进行推理。
2DCNN可以通过加深网络来增大感受野
2DCNN的感受野影响分析的文章比较少,3D的就更少了
其中3D点卷积的感受野分析少的原因是3D点分布并不是均匀的,很难算出理论的感受野大小
基于此,我们分析了方法中的感受野大小,并分析网络深度,卷积核的大小,并提出了膨胀卷积,并进行了可视化
因此,本文的贡献有:
- 评估了现有的和提出的方法的扩大感受野的效果
- 可视化了点卷积的感受野
- 我们提出膨胀点卷积DPC是一个比较好的扩大感受野的方法
- 用了DPC,我们的方法在语义分割semantic segmentation和形状分类shape classification任务上都取得了不错的效果
方法
一般点卷积的实现
其中f是特征函数,为每个点赋予特征向量
g是核函数,将相对位置映射给一个核的权重
N是一个局部邻域
增加感受野的方式
目前有增大网络深度(多叠加几层),扩大核的尺寸(搜索邻点数增加),膨胀点卷积
膨胀点卷积的实现(膨胀系数d=2)
即选出k*d个邻点,再从中每隔d个选出一个,即总共还是k个邻点
(类似与2D卷积的膨胀卷积,2D卷积的邻域在每行和每列都是隔一个取一个的(d =2时))
作者这里对比了不同的扩大感受野方式取得的效果
每行:扩大卷积核(增加邻点)
每列:增加网络层数
可见随着邻点的增加和网络层数的增加,感受野的确由在变大
每行:扩大膨胀系数
每列:增加网络层数
可见,加了膨胀卷积的确能更好的扩大感受野
作者对比了不同扩大感受野方式的开销
增加邻点数,参数量不变,运行时间变长,效果提升明显
增加网络深度,参数量变大,运行时间变长,效果提升明显
利用膨胀卷积,在膨胀系数=8时效果最好,并且增加的运行时间代价不高,参数量不变
可见,膨胀卷积可以作为一个比较好的方式来增加点网络的感受野
最后网络设计的架构如下
实验
语义分割的效果
物体分类的效果
可见,在这两个数据集上效果都达到了SOTA
结论
膨胀点卷积可以作为一种比较高效的扩大感受野的方式
同时它可以很好的 直接嵌入到现有的网络中(只要是用到了KNN搜索作为邻点的话)