3DSSD: Point-based 3D Single Stage Object Detector （阅读笔记）

文章贡献

1. 提出了一种基于点的轻量化、高效的三维单级目标检测器，命名为3DSSD。去掉了所有现有的基于点的方法中必不可少的FP层和细化模块，从而大大减少了框架的推理时间。
2. 提出了一种新的SA层融合采样策略，以保留充分的前景实例内部点，为回归和分类保留了丰富的信息。
3. 设计了一个精致的盒子预测网络，使得网络整体高效精确。

模型介绍

混合采样(Fusion Sampling)

设计动机

在以往基于点设计的模型基本是双阶段的，大多有SA模块和FP模块。SA层用于下采样点以提高效率并扩大接收域，FP层用于下采样过程中对下采样点扩大特征以恢复所有点。在第二阶段使用一个精炼模块来优化RPN网络产生的预测。
其中SA模块是必不可少的，但是FP模块和精炼模块可以有所改动来提高模型的推理速度。

挑战

SA模块使用D-FPS来选择点的子集成为下采样的代表点。当没有FP模块时，box预测网络将被这些仅存的具有代表性的点所引导。这种均匀的抽样方式使得大部分具有代表性的点都是背景点（因为背景点比前景点多）。使得诸多前景点被完全擦除，而不能被box预测网络所检测到。
且一些距离较远的目标将拥有更少的点，使得其更难被检测到。
points recall ——内部点在抽样的代表性点中仍存在的实例数量与实例总数之间的商。

但采样的代表点少时接近50%的实例被完全抹去。
应对这个在下采样时实例被抹去的问题，之前的大多工作都是采用FP模块来找回这些丢失的实例中的点，这样做也加大了计算量和推理时间。

Feature-FPS

作者发现语义信息能够很好的被深度神经网路所捕获到。因为来自不同对象的点的语义特征是截然不同的。
所以当FPS使用特征距离(feature distance)作为测度单位时，能够删除很多的背景点，保留更多的前景点，包括那些距离较远的前景点。
同时使用语义特征距离作为测度单位会产生一些问题，一个实例可能将保留多个点。如一辆车的轮子和车窗（因为特征有很大区别）。为了减少实例的冗余，作者同时使用空间距离和语义特征距离作为测度单位。
$$C(A,B)=\lambda L_d(A,b)+L_f(A,B)$$
其中$L_d,和L_f$分别代表L2空间欧氏距离和特征距离$\lambda$为平衡参数。
作者将这种采样方式命名为Feature-FPS(F-FPS)，在表2中可以看出这种采样方式对实例点的采样有较好的改善。

Fusion Sampling

F-FPS的设计能够保留大量的实例中的点。但是由于所有的具有代表性的点数量$N_m$