凩读论文第2篇《M3D-RPN: Monocular 3D Region Proposal Network for Object Detection》

论文地址(ICCV2019)

代码实现(PyTorch版)

《M3D-RPN: Monocular 3D Region Proposal Network for Object Detection》

0 摘要

以三维视角理解世界是自动驾驶的一个重要组成部分。通常来说，昂贵的激光雷达传感器和立体RGB成像的结合对于成功的三维目标检测算法而言是至关重要的，而仅关注单目图像的方法，其性能会显著下降。本文提出通过将单目三维目标检测问题重新建模为一个独立的三维区域建议网络来缩小这个差距。本文利用二维视角和三维视角之间的几何关系，允许三维目标框利用图像空间中生成的强而有力的卷积特征。为了解决繁重的三维参数估计问题，作者还设计了深度感知卷积层，以实现特定位置的特征开发，从而提高三维场景的理解能力。与单目三维检测的先前工作相比，本文的方法仅包含所提出的三维区域建议网络，而不依赖于外部网络、数据或多阶段方法。在KITTI城市自动驾驶数据集中，M3D-RPN可以显著地提升单目三维目标检测和鸟瞰任务的性能表现。

1 简介

三维场景理解在设计有效的真实世界系统中起到了至关重要的作用，而目前在三维目标检测中，最为高效方法却严重依赖于价格昂贵的激光雷达传感器提供的稀疏深度数据作为输入。相比之下，由于深度信息的缺乏，仅基于图像的单目三维目标检测就要困难得多。因此，基于激光雷达的方法与单目视觉的方法之间的性能差距仍然很大。差距确实很大啊，KITTI数据集检测car的easy指标，LiDAR的方法和多模态的方法轻松干上七八十，单目图片的方法还在二三十徘徊

先前关于单目三维目标检测的工作都严重依赖于别的SOTA子网络，它们分别负责点云生成，语义分割，二维目标检测或者深度估计。这种方法的缺点是组件和系统之间固有的脱节。此外，对额外子网络的依赖可能会引入额外的噪声，从而导致框架的上限受到限制。

本文提出了一个用于多类别三维目标检测的端到端区域建议网络。二维和三维检测任务各自的目标是对待检测目标的所有实例进行分类，它们的区别在于其定位目标的维度不同。直观上，我们期望可以利用二位目标检测的能力来指导和改善三维检测的性能。最为理想的情况下，即二维目标检测与三维目标检测将在一个统一的框架之下进行，而不是将三维目标检测作为一个单独的组件出现。因此，本文提出将三维目标检测任务重新建模，使得二维和三维空间都使用共享的锚点与分类目标。这样如果能实现的话，那三维检测器的性能自然就能与二维检测器的性能相媲美。因此，剩下的问题就是解决相机坐标空间中的三维定位问题。

为了解决这个剩下的问题，本文提出了三个关键的设计来改进三维估计任务的性能。首先，构造三维的锚点以使其在三维图像空间中发挥作用，并对所有的锚点进行初始化，对其每个三维参数进行先验统计。基于固定摄像机视点的一致性以及二维尺度和三维深度之间的相关性，每个离散化的锚点在本质上都具有很强的三维推理先验。其次，设计一个能够学习空间感知特征的深度感知卷积层。传统上，为了便于检测任意图像位置的目标，卷积运算操作通常具有空间不变性。最后，使用$3D\to 2D$投影一致性损失在算法中优化方向估计参数$\theta$，在假设二维边界框可靠的情况下，帮助纠正$\theta$估计中异常。

总结如下：

• 制定了一个具有共享2D和3D检测空间的单目三维区域建议网络（M3D-RPN），同时使用先验统计数据作为每一个三维参数的初始值
• 提出深度感知卷积来改进三维参数估计，从而使得网络能够学习到更多空间感知的高级特征
• 提出一种简单的方向估计后优化算法，使用三维投影和二维检测来改善$\theta$估计
• 使用单个多类网络在KITTI城市数据集基准中的单目鸟瞰图检测和三维检测上实现了SOTA当年的SOTA了

2 相关工作

2.1 二维目标检测

最近的框架基于Faster R-CNN的开创性工作，引入了区域建议网络（RPN）作为一种生成目标提议的高效方法。RPN的作用类似于滑动窗口检测器，用于检查图像的每个空间位置是否存在与一组预先定义的模板形状相匹配的目标，称为锚点。尽管RPN被认为是Faster R-CNN的一个初步阶段，单其经常被证实具有很好的效果，可以扩展成一个独立的检测器。本文的框架便建立在一个RPN的锚点上，该锚点专门设计用于在二维和三维空间之中运行，并充当一个多类三维检测器。

2.2 基于激光雷达的三维目标检测

激光雷达数据的使用已经被证实是SOTA框架应用于城市场景的三维目标检测的重要输入。目前一些领先的方法倾向于从激光雷达点处理稀疏点云或将点云投影成二维平面的集合。基于激光雷达的方法通常会在各种三维任务中获得很高的性能表现，这依赖于从激光雷达点（或直接经由点云数据）生成的深度信息的可用性。因此，这些方法并不适用于仅使用图像数据的应用场景，因为这是本文的单目三维目标检测算法的主要目的。

2.3 基于图像的三维目标检测

本文提出一种仅使用三维框训练的单一网络，而不是使用一组外部网络、数据源和由多个阶段组成的网络。先前的一些其它网络在其框架中至少有一个组件使用外部网络，其中一些也会在外部数据上进行训练。这是第一个使用单目三维区域建议网络（M3D-RPN）同时生成二维和三维目标提议框。理论上，M3D-RPN与之前的工作是互补的，可以用来替代建议框生成阶段。

3 M3D-RPN

本文的框架包含三个关键的组件。首先，本文详细介绍了多分类三维区域建议网络的整体想法。然后，本文概述了深度感知卷积的细节和集体网络架构。最后，详细介绍了一种简单但有效的提高3D $\to$ 2D一致性的后优化方法。我们将这种方法称为单目三维区域建议网络（Monocular 3D Region Proposal Network, M3D-RPN）。

3.1 整体设计

本文提出的框架的核心基础是基于Faster R-CNN中首次提出的区域建议网络（RPN）的原理，基于这个原理再为三维检测量身定做的。从整体角度看，区域建议网络就像是滑动窗口检测器一样，扫描输入图像的每一个空间位置，为物体匹配一组预定义的锚点模板。然后将匹配从离散化的锚点回归为估计目标的连续参数。

锚的定义 为了同时预测二维和三维框，每个锚点模板使用两个空间的参数定义：$[w,h{]}_{2D},z_p$和$[w,h,l,\theta {]}_{3D}$。为了放置锚点并定义完整的二维和三维框，还需要指定一个共享的中心像素位置$[x,y{]}_p$。在像素坐标中使用表示为二维的参数。作者使用以下式子，将摄像机坐标中的三维中心位置$[x,y,z{]}_{3D}$投影到图像中，对深度参数$z_p$编码成一个已知的投影矩阵$P\in {\mathbb{R}}^{3\times 4}$：
$$\begin{array}{c}{\left[\begin{array}{c}x\cdot z\\ y\cdot z\\ z\end{array}\right]}_p=P\cdot {\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]}_{3D}\end{array}$$

其中${\theta }_{3D}$表示观察角度，与相机坐标系中的y轴旋转角相比，观察角度更多考虑的是物体相对于相机是叫的相对方位，而不是地平面的鸟瞰图(BEV)。因此，在处理图像特征时，观察角度的估计在直观上更加具有意义。作者对相机坐标系中给出的剩余三维参数$[w,h,l{]}_{3D}$进行编码。

每个$z_p$和$[w,h,l,\theta {]}_{3D}$的平均统计量是为每个锚点单独预计算的，用以减轻三维参数估计的难度。具体来说，对于每个锚点，作者使用所有与对应二维锚点$[w,h{]}_{2D}$的交并比(IoU)大于0.5的相匹配的真值。因此，锚点代表一种离散化的模板，其三维先验值可以看作有效的预估初始值，从而假设相当一致的场景几何形状。如下图所示，其可视化了锚定公式以及预先计算的三维先验。

三维检测 本文的模型预测每个锚点的输出特征图为$c,[t_x,t_y,t_w,t_h{]}_{2D},[t_x,t_y,t_z{]}_P,[t_w,t_h,t_l,t_{\theta }{]}_{3D}$。将$n_a$记作锚的数量，$n_c$记作类别的数量，$h\times w$记作特征图的分辨率。综上，目标框输出的总数记作$n_b=w\times h\times n_a$，在每个锚点的每个像素位置上跨度$[x,y{]}_p\in {\mathbb{R}}^{w\times h}$。第一个输出值c代表大小为$n_a\times n_c\times h\times w$的共享的分类预测，而另一个输出值具有大小为$n_a\times h\times w$的共享分类预测。输出值$[t_x,t_y,t_w,t_h{]}_{2D}$代表二维检测框变换，统称为$b_{2D}$。运用以下式子，将边界框变换应用于$[w,h{]}_{2D}$的锚点：
$$\begin{array}{c}\begin{array}{ccc}{x}_{2D}^{\prime }=x_P+t_{x_{2D}}\cdot w_{2D},& & w_{2D}^{\prime }=exp(t_{w_{2D}}\cdot w_{2D}),\\ y_{2D}^{\prime }=y_P+t_{y_{2D}}\cdot h_{2D},& & h_{2D}^{\prime }=exp(t_{h_{2D}}\cdot h_{2D}),\end{array}\end{array}$$
式中，$x_P$和$y_P$为每个框的中心位置。由此定义变换后的框$b_{2D}^{\prime }$为$[x,y,w,h{]}_{2D}^{\prime }$，后面的7个输出分别表示投影中心$[t_x,t_y,t_z{]}_P$，维度$[t_w,t_h,t_l{]}_{3D}$和朝向$t_{{\theta }_{3D}}$，统称为$b_{3D}$。与2D相似，该变换应用于参数为$[w,h{]}_{2D},z_P$和$[w,h,l,\theta {]}_{3D}$的锚：
$$\begin{array}{c}\begin{array}{ccc}{x}_P^{\prime }=x_P+t_{x_P}\cdot w_{2D},& & w_{3D}^{\prime }=exp(t_{w_{3D}})\cdot w_{3D},\\ y_P^{\prime }=y_P+t_{y_P}\cdot h_{2D},& & h_{3D}^{\prime }=exp(t_{h_{3D}})\cdot h_{3D},\\ z_P^{\prime }=t_{z_P}+z_P,& & l_{3D}^{\prime }=exp(t_{l_{3D}})\cdot l_{3D},\\ {\theta }_{3D}^{\prime }=t_{{\theta }_{3D}}+{\theta }_{3D}.& & \end{array}\end{array}$$
因此，$b_{3D}^{\prime }$记作$[x,y,z{]}_P^{\prime }$和$[w,h,l,\theta {]}_{3D}^{\prime }$。如之前所述，本文估计目标投影的三维中心而不是相机坐标，以更好地处理图像空间中的卷积特征。因此，在推理时，作者利用式(1)的逆转，将投影后的三维中心位置从图像空间$[x,y,z{]}_P^{\prime }$反投影到相机坐标$[x,y,z{]}_{3D}^{\prime }$。

损失定义 本框架的神经网络损失是一种混合了分类$L_c$和一种用于2D和3D的目标框回归损失的多任务学习问题，记作$L_{b_{2D}}$和$L_{b_{3D}}$。对于每个生成的目标框，首先检查其是否存在IoU≥0.5的真值。如果有，那么就使用与每个生成框最为匹配的背景真值来定义一个具有$\tau$类索引的目标，二维框${\hat{b}}_{2D}$和三维框${\hat{b}}_{3D}$。否则的话，$\tau$会被分配到所有的背景类别中，并且忽略边界框回归操作。一个基于softmax的多项logistics损失被用于定义$L_c$：
$$\begin{array}{c}{L}_c=-log(\frac{exp(c_{\tau })}{{\sum }_i^{n_c}exp(c_i)}).\end{array}$$
对于$L_{b_{2D}}$，本文使用一个负logistics损失应用于匹配的基本真值框${\hat{b}}_{2D}$以及转换后的$b_{2D}^{\prime }$之间的IoU：
$$\begin{array}{c}{L}_{b_{2D}}=-log(IoU(b_{2D}^{\prime },{\hat{b}}_{2D})).\end{array}$$
其余的三维边界框参数分别使用应用于变换值$b_{3D}$和真值变换值${\hat{g}}_{3D}$（使用${\hat{b}}_{3D}$，利用式3中的公式逆生成）的Smooth $L_1$回归损失进行优化：
$$\begin{array}{c}{L}_{b_{3D}}=Smooth{L}_1(b_{3D},{\hat{g}}_{3D}).\end{array}$$
因此，整个多任务网络损失$L$，包括正则化权重${\lambda }_1$和${\lambda }_2$，记作：
$$\begin{array}{c}L=L_c+{\lambda }_1{L}_{b_{2D}}+{\lambda }_2{L}_{b_{3D}}.\end{array}$$

3.2 深度感知卷积

在计算机视觉领域中，空间不变卷积已经成为深度神经网络中的一个重要操作。我们希望在网络前几层中的低级特征能够被合理地共享，否则对深度或对象尺度保持不变。然而，在假设摄像机视野固定的情况下，我们直观地期望与三维场景理解相关的高级特征依赖与深度信息。综上所述，本文提出深度感知卷积作为一种手段来提高区域建议网络中高级特征的空间感知能力，如下图所示：

深度感知卷积层可以简单概括为正则化的二维卷积，其中一组离散化的深度可以学习非共享的权重和特征。本文引入一个超参数$b$，表示行方向的bin的数量，将一个特征图分离出来，每个特征图学习一个唯一的核$k$。实际上，深度感知内核允许网络在每个bin区域发掘特定位置的特征和偏移值，理想地利用了城市场景中固定视点的几何一致性。例如，高层语义特征，如编码一个用于检测汽车的大车轮的特征，在近深度是有价值的，但通常在较远的深度是没有价值的。同样，我们直观地与三维场景理解相关的特征与它们的行图像位置固有相关。先验假设，利用了KITTI数据集自动驾驶的先验信息，跟自动驾驶场景绑定了。

使用深度感知卷积的一个显著缺点是，对给定的层，会增加b倍的内存占用。然而，无论核是否共享，执行卷积操作的总体理论FLOPs仍然会保持一致。作者在PyTorch上实现了深度感知卷积层，将一个层L展开为b个填充的bin，然后重新利用分组卷积操作在GPU上执行高效的并行计算。

3.3 神经网络结构

本网络的骨干使用的是DenseNet-121。作者还移除了transition3中的pooling层，以确保网络的步幅保持在16，然后将最后一个DenseBlock(denseblock4)中的每个卷积层扩大2倍，以获得更大的扫描视野。

在骨干网络的末端，还连接了两条并行的路径。第一条路径使用一个常规的卷积，其中核在空间上共享，我们称之为全局(global)卷积。第二条路径仅仅使用了深度感知卷积，称之为局部(local)卷积。对于每条路径，作者还附加了一个提议特征提取层，利用其各自的卷积操作生成$F_{global}$和$F_{local}$。每个特征提取层使用填充值为1的3x3卷积核生成512个特征，后接ReLU非线性激活。接下来连接这12个输出到对应于$c,[t_x,t_y,t_w,t_h{]}_{2D},[t_x,t_y,t_z{]}_P,[t_w,t_h,t_l,t_{\theta }{]}_{3D}$的每个$F$上。每个输出使用一个1x1卷积核，将其分别记作$O_{global}$和$O_{local}$。为了利用深度感知和空间不变的优势，作者使用学习到的注意力$\alpha$(sigmoid之后)融合每个输出i=1…12，如下：
$$\begin{array}{c}{O}^i=O_{global}^i\cdot {\alpha }_i+O_{local}^i\cdot (1-{\alpha }_i).\end{array}$$

3.4 3D到2D后优化

作者使用了一个简单而有效的算法来对朝向参数$\theta$进行后优化操作：

这个算法以二维框和三维框的估计值$b_{2D}^{\prime }$、$[x,y,z{]}_P^{\prime }$以及$[w,h,l,\theta {]}_{3D}^{\prime }$以及步长$\sigma$、终止值$\beta$和衰减$\gamma$参数作为输入。然后再迭代地通过$\theta$，并使用$L_1$损失将投影的三维框与$b_{2D}^{\prime }$进行比较。$3D\to 2D$框投射函数定义如下公式所示：
$$\begin{array}{c}\begin{array}{rl}{\gamma }_0& ={\left[\begin{array}{ccccccccccccccc}-l& & l& & l& & l& & l& & -l& & -l& & -1\\ -h& & -h& & h& & h& & -h& & -h& & h& & h\\ -w& & -w& & -w& & w& & w& & w& & w& & -w\end{array}\right]}_{3D}^{\prime }/2,\\ {\gamma }_{3D}& =\left[\begin{array}{ccccc}cos\theta & & 0& & sin\theta \\ 0& & 1& & 0\\ -sin\theta & & 0& & cos\theta \\ 0& & 0& & 0\end{array}\right]{\gamma }_0+P^{-1}{\left[\begin{array}{c}x\cdot z\\ y\cdot z\\ z\\ 1\end{array}\right]}_P^{\prime },\\ {\gamma }_P& =P\cdot {\gamma }_{3D},{\gamma }_{2D}={\gamma }_P./{\gamma }_P[{\varphi }_z],\\ x_{min}& =min({\gamma }_{2D}[{\varphi }_x]),y_{min}=min({\gamma }_{2D}[{\varphi }_y]),\\ x_{max}& =max({\gamma }_{2D}[{\varphi }_x]),y_{max}=max({\gamma }_{2D}[{\varphi }_y]).\end{array}\end{array}$$
式中，$P^{-1}$为填充[0,0,0,1]后的逆投影，$\varphi$代表[x,y,z]轴的索引。然后，我们使用参数$\rho =[x_{min},y_{min},x_{max},y_{max}]$的投影框和原始值$b_{2D}^{\prime }$计算一个$L_1$损失，作为其驱动启发。当用$\theta \pm \sigma$对损失没有改善时，再使用$\gamma$衰减步长，当$\sigma \ge \beta$时重复。

3.5 部署细节

为了防止局部特征在图像区域的子集合上过拟合，作者使用了预训练的全局权重文件来初始化局部路径。在这种情况下，每个训练阶段进行50000次迭代。作者期望获得更高的数据增广程度或迭代分bin计划，例如 $b=2^i，i=\mathrm{0...}lo{g}_2(b_{final})$，可以以更复杂的超参数为代价来实现更容易的训练。

作者使用0.004的学习率，使用幂0.9的poly衰减率，batchsize设置为2，权重衰减为0.9。设置${\lambda }_1={\lambda }_2=1$。所有图片缩放到512像素的高度值。因此，对于所有的深度感知卷积层，作者使用b=32bins。使用了12个锚定尺度，范围从30到400像素，遵循幂函数$30\cdot 1.265^i,i=\mathrm{0...11}$以及长宽比$[0.5,1.0,1.5]$，总共36个锚点进行多类检测。利用这些模板学习三维锚点先验。作者使用IoU为0.4的标准和得分<0.75的过滤框对二维空间中的框输出进行NMS操作。三维到二维优化操作使用$\sigma =0.3\pi ,\beta =0.01,\gamma =0.5$的设定。最后，作者通过在每个小批量数据中采样前20%的高损失框来执行随机镜像和在线难负样本挖掘。

由于M3D-RPN依赖于三维框注释和一个已知的每条序列的投影矩阵P。若要扩展到没有这些已知信息的数据集上，可能需要预测相机的内参，并利用三维-二维投影几何作为损失约束的若监督。

4 实验

略

---

黄底字代表我对当前段落的自身理解
斜体字表示例子
本人水平有限，若有有误之处欢迎批评指正。
禁止未经许可随意转载。