【3D目标检测】PointFusion: Deep Sensor Fusion for 3D Bounding Box Estimation论文综述（2018）

1、 为什么要做这个研究（理论走向和目前缺陷） ?
做3D目标检测的大部分都是要面向自动驾驶的，这论文找了个理由说是“通用”，不限于数据集比如lidar-image,或者rgb-d，感觉很牵强。
2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ?
不太清楚这论文出来时F-PointNet出来没，感觉都是一个风格的，但是这个论文在预测3D框时同时融合了图像特征和点云特征，融合方法就是简单的concatenate。论文中有一些trick比如pointnet中不用BN,回归损失函数的设计值得借鉴。
3、 发现了什么（总结结果，补充和理论的关系）?
18年的论文现在来看的感觉没啥新意，但是论文写作还是条理清晰脉络分明的，值得借鉴。

看一下论文模型就知道这个模型是怎么回事了

本文是针对用2D检测器在图片上检测出边界框后做的3D目标检测。根据检测框将对应区域从图片和点云中crop出来。然后图片crop用ResNet提取特征，点云用PointNet提取特征，点云提取的特征包括逐点特征和全局特征，点云特征和图像特征融合（concatenate）成一个3136维度的向量。然后本文提出了两个独立的对融合特征处理的预测网络（C）和（D），发现©效果好一些。©在训练时是以GT框里的每个点进行预测边界框，由于GT边界上的框往往预测的框没那么准确，故期望边界上的点得分低一些，靠近gt框中心的点得分高一些：故以下面公式计算回归损失：

模型中有几个需要注意的点就是：pointnet中移去了所有的BN层，说是引入BN的目的是为了消除数据点尺度和偏移，但是在3D目标检测里，未进行标准化的绝对值是更有利的。