3D目标检测Frustum ConvNet（一）

Ｆ-Ｃonvnet的论文导读

第一篇博客是关于Ｆ-convnet的论文导读
Frustum ConvNet: Sliding Frustums to Aggregate Local Point-Wise Features for Amodal 3D Object Detection
论文链接点击这里
github地址

Abstract

算法主要是通过点云进行３d目标检测，首先运用２d图像检测算法，生成一系列２d检测框，根据检测框生成一系列的锥体，使用获得的锥体进行局部点的分组．将这些分组的点进行点级别的特征提取组合后成为锥体级别的特征，　并将特征作为输入到全连接层，实现端到端的连续位置回归．还提出了F-ConvNet的组件变体（？？）包括提取多分辨率锥体特征的FCN变体，以及在缩小的3D空间上精细使用F-ConvNet，通过减少３Ｄ空间．

Introduction

文献综述不赘述，　基本介绍了相关的３d检测算法．有兴趣的同学可以读一下．
针对[13]、[14]的局限性，本文提出了一种新颖的三维立体目标检测方法——三维立体目标检测算法(F-ConvNet)。与[13]类似，我们的方法假设RGB图像中有2D的区域建议，这些建议可以很容易地从现成的对象探测器中获得，并在每个区域内识别出与像素对应的3d点。与[13]不同的是，我们的方法为每个区域的建议生成一个沿截锥体轴对称滑动的(可能重叠的)frustums序列。

这些获得的截锥体定义了局部点组。给定了frustums和point　association的序列，我们的F-ConvNet从较低的、并行的PointNet样式层流开始，将点方向的特性聚合为frustum级别的特征向量;　然后，它将早期阶段单个截锥体的这些特征向量排列为2D特征图，并使用全卷积网络(FCN)对锥体进行下采样和上采样，这样它们的特征在更高的截锥体分辨率下在截锥体轴上完全融合。加上最后的探测头，我们提出的F-ConvNet支持端到端的估计．

The Proposed Frustum Convnet

a. 首先介绍了如何将点云进行分组，先介绍了FPS(farthest pointsampling FPS可以有效地覆盖点云，但它不知道目标的位置;因此，基于FPS的分组对于与从点云中检测对象实例相关的任务并不是很有用。) 和VoxelNet(在3D空间中定义等距体素的规则网格，并将落在samevoxel中的点组合在一起)的分组方法，并介绍了其弊端．
引出了利用２D检测并形成锥体的分组方法．为了解决这些限制，我们提出以下方案来对本地点进行分组。我们假设一个RGBimage和对应的3D点云，并且2D区域建议也由现成的对象检测器提供。一个序列的(可能重叠)截锥体可以通过滑动一对平行平面沿截锥体轴以相同的步幅，其中的平面对也垂直于截锥体轴。我们还假设相机的光轴垂直于这个2d区域，这表明相机坐标系统进行了初始调整．我们为每个2Dregion提案生成这样一个截锥体序列，我们使用这样获得的截锥体序列来分组点，即落在相同锥体内的点被分为一组。假设2D区域提案足够精确，我们的截锥体主要包含前置点，并且能够感知对象边界。

b.
F-CONVNET的关键是融合早阶段的点方向特征在每个锥体里作为锥体级别的特征向量，然后排列这个作为２D特征图投影这些特征通过使用ＦＣＮ全连接网络．
1.　使用Ｐointnet进行锥体内的特征提取
2.　全卷积网络
如图2(b)所示，我们的FCN由conv层块和每个块对应的de-conv层组成。在conv层中，卷积通过使用大小为3d的内核应用于frustum维度。除了第一个块之外，conv的每个块的最后一层也通过使用stride-2卷积对frustum维度的2D feature map进行降采样(减半)。卷积和下采样融合了截锥体的特征，并在不同的凸块上产生不同高度的虚拟截锥体(沿截锥体轴方向)。
3.多分辨率的frustum特征融合变体
多分辨率视锥体特征结合的变体 我们已经知道 FCN 中 conv 块的输出feature map在视锥体维度上分辨率被减小到2的幂。以 [公式] 大小的为例。对于同一个2D 区域建议，可以通过沿步长 2 s的锥形轴滑动来生成 一个T/2 的视锥体新序列。将 PointNet 应用于每个生成的视锥体，并将生成的特征进行排列组合形成一个新的大小为 [公式] 的feature map。当 frustum 高度加倍为 2u 时，新序列以半粗分辨率覆盖相同的 3D 空间，而其feature map与 FCN 中的相对应。然后，我们沿着特征维度连接两个大小相同的feature map，从而产生一个尺寸为 [公式] 的新feature map。最后一个 conv 图层用于将其调整为大小为 [公式] 的feature map，以便可以将其放回 FCN 中，而不会更改其他 FCN 的层。下图说明了上述操作。该过程可用于 FCN 中的每个下采样的feature map。我们将该方案称为F-ConvNet的多分辨率视锥体特征结合的变体。第IV-B节的消融研究验证其有效性。
c. F-convnet的检测顶部和训练
在FCN的顶部是由两个并行的conv层组成的检测，如图2所示。它们分别被用作分类和回归分支。wholeF-ConvNet使用一种多任务方式进行训练，类似于2D对象检测