Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion

文献阅读笔记

一、题目：Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion

二、提出问题

  点云的的稀疏性导致了仅基于激光雷达的三维目标检测遇到了困难，虽然许多多模态的检测理论被提出为了解决这一问题，但是由于点云和图像的不同表现形式，这类理论在融合这两种数据时遇到了困难，本文主要是解决点云和图像在三维目标检测的融合问题。

三、创新点

1、利用伪点云将图像信息转化为点云信息，并通过一种3D RoI融合策略（3D-GAF）在ROI级别上融合这两种点云特征。
2、本文提出一种用于多模态检测框架的同步增强方法，通过这一增强方法，本文的模型可以使用任何基于点云的数据增强方法。
3、不同于稀疏卷积，作者提出了一种用于直接提取伪点云特征的CPConv结构，它可以同时提取伪点云的二维图像特征和三维几何特征。

四、主要理论

1、模型整体框架如下：

  从上图可以看出模型的核心有三部分：1）对彩色图像进行深度补全，进而生成伪点云，伪点云的特征包含了对应于图像上的原始RGB值和像素坐标，第$i$个伪点云$p_i$表示为$(x_i,y_i,z_i,r_i,g_i,b_i,u_i,v_i)$；2）用CPConvs来提取位于ROI中的伪点云特征（ROI生成自点云流），然后在ROI中进行体素化，然后使用稀疏卷积进一步提取特征；3）对于同一个ROI的两种体素特征，本文用了一个简单的3D-GAF来自适应融合逐网格的原始ROI特征和伪RoI特征。最后不在图中但非常重要的一点是模型采用了一种非常新奇的同步增强策略来解决多模态检测的数据增强问题，它包含两个重要思想：1、将图像坐标和像素值转化到点云形式；2、在三维空间中提取图像特征（即在RoI中按照伪点云原来在图像中的位置来寻找其邻域并聚合邻域特征）。
2、Depth completion
  文章中并没有设计深度补全网络，只是简单地介绍使用了Penet来进行深度补全，并产生一个深度补全损失来监督深度补全。不知道它的深度预测效果怎样，看图是使用了原始点云来引导图像深度预测。考虑到深度误差将导致伪点云的位置偏差，而这些误差对后面的目标检测结果不知道影响如何，文中没有提到这一点，我们从代码中可以看出作者提前为训练集和测试集图像都生成了图像深度以及伪点云及其特征，这样一来模型可以直接使用这些数据。（感觉这样如果比较实时性有点作弊）。
3、三维逐网格注意力融合模块3D-GAF

  对于某个3D RoI，其对应的的原始ROI特征为$F^{raw}\in {\mathbb{R}}^{n\times C}$和伪点云ROI特征为$F$