超级会员免费看
AVOD是一种两阶段3D目标检测网络，通过在高分辨率特征图上融合RGB和BEV信息，提高小目标定位。与MV3D不同，AVOD在全尺寸特征图上进行特征融合，生成更精确的3D提案。网络结构包括Encoder-Decoder，用于反卷积到原始尺寸，减少小目标检测的损失。通过4 Corners+Height的回归损失，优化边界框预测，尤其对行人检测有显著提升。
如有错误，恳请指出。
paper：《Joint 3D Proposal Generation and Object Detection from View Aggregation》
1. 背景
AVOD同样是一个two-stage(使用了RPN提取候选框)、anchor-based网络结构。获得较高的召回率对RPN网络来说是比较重要的，但对于稀疏的较低分辨率的输入来说（比如前视图和鸟瞰图）不足以让RPN输出高质量的候选框，且导致低召回率，这会在第二个阶段带来无法逆转的结构。基于这个考虑，AVOD设计了一个新颖的RPN结构可以通过在高分辨率特征图上进行多模态特征融合（将来自RGB图像和BEV的全分辨率特征图为输入），来提高小目标的定位精度。
补充一点，这里与MV3D的处理方法是不一样的。对于MV3D中的是对鸟瞰图的特征进行3d候选框的生成再投影回去每个模态的特征图中获得统一尺寸的roi特征图，所以本质上MV3D融合的信息较小，对于小目标来说检测精度较低。而AVOD采取的方案是利用投影在RGB图与BEV全尺寸的特征图上获取feature crop融合来进行最后边界框的预测，在下面网络结构中会详细介绍。
2. 网络结构
AVOD的网络结构图如下所示。对于BEV输入表示采用与MV
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
