SECOND: Sparsely Embedded Convolutional Detection

paper
code

解决问题以及创新点

主要是基于VoxelNet 做的进一步工作

问题（Voxel-based 3D Conv）

1. slow inference speed
2. low orientation estimation performance

创新点

3. improved method of sparse conv -> slow inferece speed
4. angle loss regression -> low orientation estimation performance
5. data augmentation

相关工作

文中介绍的相关工作总揽

网络架构

Voxel Feature and Coordinates

根据点云数据，按照指定大小的体素网格对各个点进行分组，然后通过随机采样调整点的数量
点云尺寸： car：[−3, 1] × [−40, 40] × [0, 70.4] m
pedestrian and cyclist：−3, 1] × [−20, 20] × [0, 48] m
smale model：f [−3, 1] × [−32, 32] × [0, 52.8]m
体素块大小：0.4×0.2×0.2m
每个体素点的数量：car ： 35 pedestrian and cyclist：40

Voxel Feature Extractor

针对体素中的每一个采样点,$p_i=(x_i,y_i,z_i,r_i)$,其中x,y,z,r分别坐标以及光的反射强度，计算每个体素中点的中心坐标 $(v_x,v_y,v_z)$,进而得到Point-wise input $(x_i,y_i,z_i,r_i,x_i-v_x,y_i-v_x,z_i-v_z)$,通过LN+BN+Relu得到point-wise feature，point-wise feature 通过element-wise MaxPooling 得到 locally aggregated feature，point-wise feature+locally aggregated feature得到e point-wise concatenated feature 以作为稀疏卷积的输入。

Sparse Conv Layers

白色：sparse convolution 黄色： submanifold convolution 红色：sparse-to-dense layer

稀疏卷积

稀疏卷积得到的结果主要又两种形式：

1. spares ouput：只要卷积核里面有为空的元素就进行卷积
2. Submanifold Output：则只又当卷积核的中心坐标，进一步减缓计算量
   
   

特征提取

为了快速的实现卷积的过程，通过哈希表的方式存储没给节点，通过rule控制卷积的过程，rule的具体计算过程如下:

RPN

RPN 部分采用的Voxel的原始架构

Loss

$L_{c}ls:$使用了对样本不均衡更友好的Focal Loss

$L_{r}eg-$:

$L_{r}eg-ohter$smoothL1 loss 用于回归坐标等信息

Experiments

数据增强

1. Sample Ground Truths from the Database
   从真实的Ground True中选出真实的物体形成数据库，在训练的时候，随机向点云中添加真实的物体。特别的，为了防止添加的元素与原来物体产生冲突，增加了冲突检测。
2. Object Noise
3. Global Rotation and Scaling

实验结果

3D 检测
鸟瞰图检测：