3D检测中深度离散化

参考论文：Center3D: Center-based Monocular 3D Object Detection with Joint Depth Understanding

1 引言

单目3D目标检测中通常需要进行深度估计，一般是将回归问题转化为分类问题，先根据数据集确定好深度的最大最小值，然后在这个范围内划分多个区间（bins），从而变成分类问题，预测深度值属于哪个区间。

2 方法

远处的物体有着更大的深度值和更少的视觉特征，这会产生大的损失值，从而主导训练过程并且增加不确定性。

图1. SID和LID

两种常用方法SID和LID的区别和结果如图1所示，按照KITTI数据集，设置 $d_{min}=1m,d_{max}=91m,N=80$，$N$ 是子区间个数，图中显示了鸟瞰图视角下的 $0m$ 到 $54m$，红色线是每个bin的阈值，实心矩形表示预测的边界框，蓝色矩形表示真实框，可以看到LID对远处物体检测更准确。

2.1 SID

SID 方法通过在log空间中划分 $[d_{min},d_{max}]$ 来降低远处物体的权重，但是这种方法会产生太密集的bins，如图1第一行所示。SID公式如下：

2.2 LID

LID 方法能够更加均匀地划分。

2.3 转换方法

训练标签：根据SID和LID公式，给定的连续深度值 $d$ 计算出 $l$ 后，向下取整得到所属的类别bin $l_{int}$，此外，保存并回归残差部分 $l_{res}=l-l_{int}$，$l_{int}$ 和 $l_{res}$ 作为标签。
前向传播：对于特征图中一个像素，把概率大于0.5的bin的中值作为估计的深度值 $\hat{l}$，同时预测深度类别 ${\hat{l}}_{int}$，计算 ${\hat{l}}_{res}=\hat{l}-{\hat{l}}_{int}$，得到深度类别以及残差量。
因为是离散的，取中值的精度不够，所以在训练阶段结合分类和回归任务，用到 $l_{int}$ 和 $l_{res}$ 。
反向传播：只在预测2D边界框中心位置 c ^ 2 D i = ( x ^ 2 D i , y ^ 2 D i ) , i ∫ { 0 , 1 , . . . , K − 1 } \hat{\mathbf{c}}_{2D}^{\mathbf{i}}=(\hat{x}_{2D}^i,\hat{y}_{2D}^i),i\int \{0,1,...,K-1\} c^2Di​=(x^2Di​,y^​2Di​),i∫{0,1,...,K−1}，$K$ 是图像中物体个数，$i$ 是物体序号，各部分损失函数如下：

最终的损失函数是 $L_{dep},L_{ord}^{i}i,L_{res}^i$ 三部分的和，其中 $P_n^i$ 是第 $i$ 个物体比第 $n$ 个bin更远的概率，SmL1 是 smooth L1 loss。
推理时，预测 ${\hat{l}}_{int}^i$ 和 $l_{res}^i$，$\hat{l}={\hat{l}}_{int}^i+l_{res}^i$，再带入SID和LID公式中反求得到深度值 $d$。