Focal Sparse Convolutional Networks for 3D Object Detection论文阅读分享

3D目标检测关键问题：如何将非结构化且稀疏的点云数据做一个有效的表示！

目前主流的有两种方法：

本文的创新点之一在焦点卷积。

在介绍焦点卷积如何实现前先理解一下常规卷积和子流形卷积的原理。

常规稀疏卷积公式理解：

        wk对应卷积核的权重，xpk可以理解为有效点的输入特征。通过卷积得到p处的输出特征。kd以三维为例是27个子空间。

        定义输入和输出的特征空间Pin和Pout ：               

        其中kd（p,Pin）是kd的子集，取决于位置p和输入特征空间Pin，形式为：

        Pout被表示为：

公式列完了，可能有点懵，接下来我举例子进行解释：

1.卷积的理解

在这个过程中我们发现卷积计算会把每一个点和对应的卷积权重进行计算。

2.以三维为例，27个子空间不一定全部都有点云数据，故引入了kd（p,Pin），确定一个点p，计算Pin的其他点和p点的偏移，然后记录在kd（p,Pin）中。

wk对应权重，xpk对应有效点，只对有效点进行计算。

3.Pout的理解：

三维空间27个子空间

最后的理解：常规稀疏卷积的通过对有效点进行卷积，考虑周边的特征情况并进行空间的扩展输出。

优点：能捕捉更多信息。

缺点：导致输出特征图不稀疏，增加内存和计算量要求。

子流形稀疏卷积：只对有效点进行稀疏卷积且输出的特征只在有效点上。

优点：保证输入和输出的稀疏一致性。效率高。

缺点：特性提取能力较弱，感受野受限。

焦点稀疏卷积公式理解：

下面对公式进行举例解释：

具体的实现方式：

1.图像信息和点云信息融合解决网络开始时的浅层区分点云的前景和背景困难的问题。    输出后再考虑一下图像信息，让后续预测更加顺畅。    图像信息可以用Resnet的几层卷积即可提供好相关信息。

2.监督怎么做： ①预测的数值乘在输出特征上面，类似于attention机制。 ②额外的加foacl loss，二分类区分前景和背景，前景是重要的。 两点结合使用

最终结果：

举一个图为例，我们可以发现在不重要的位置上红色点没有变多，可是在重要的位置上（车）红色点变多了，也就意味着关注度提高了。