3D目标检测综述

本文综述了3D目标检测技术的发展历程和技术分类,包括point-based和voxel-based两大类方法及其特点。介绍了自动驾驶领域的关键技术玩家及其实验室,并详细列举了two-stage和single-shot方法中的代表性算法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

简介

主要从技术变更历史、发展路线、数据集、数据融合的方式、当前知名的实验室以及大牛,其中的侧重点等方面介绍。当作是文献阅读的一种记录。有不足之处还请指出。
目前主流的分类方法是根据输入数据是否经过处理来作为判断依据的。其中主要有两大类:point-basedvoxel-based两大类。前者保留了点云的全部信息,预测准确度相对较高,但是计算量较大,后者损失了部分点云位置信息,准确度相对较低,计算量较小,但是目前这两者的界限也在慢慢模糊。也有根据2D目标检测划分标准,分为two-stageone-stage。还有更为详尽的划分。本文也会提到。
随着自动驾驶逐渐落地,3D目标检测受到了科研和工程的双重重视。目前自动驾驶技术哪家强,当然是google的waymo,他们的技术团队成员绝大部分来自于斯坦福,拥有很强的技术积累。当然之前uber将旗下的ATG部门卖给了Aurora,ATG老大是多伦多大学的ATG的Header。也是业内的大佬。从MIT走出的一家初创公司NuTonomy也挺强。毕竟有MIT做背书。现在苹果也来入局,开始和google强人才了。国内的话,百度无疑走到最前列。但是大佬都在香港。比如港中文的Hongsheng Li,他与商汤有着技术深度合作,还有就是jiaya Jia,之前出任腾讯的优图实验室的主任,后来离职又回归学校,也是在这个方向上的大牛。阿里相对入局晚点,达摩院有个自动驾驶实验室,而且还在2020年孵化出了小蛮驴,解决配送终端的无人配送问题。而且已经在去年双十一发挥了不小的作用,有兴趣的可以去浙大学校瞅瞅。

分类

分类
这是截止到2020.4月份的文章脉络。后续会更新最新的文章。
分类和对比
我按照文章的分类(two-stagesingle-shot)方法,之后再详细解释每个类别的含义。在Region Proposal-based中,Multi-view Methods是指输入有多种角度,如BEV、front-view(camera view)等。Segmentation-based Methods是基于分割的方法,这里就会用到PointNetPointNet++Frustum-based Methods则是先利用2D目标检测提取平头锥状的目标检测区域,之后再进行训练。这个方法无法做到实时性,目前不太看好这个方向。在Other Methods中的R-CNN系列是基于R-CNN进行的改进和迁移。
single-shot中,BEV-based的方法有着先天的局限性。由于丢失了部分3D空间信息,准确率也不是很高。Discretization-based相对来说类似于voxel,只是处理方式略有不同,如PointPollars,就是将原始点云处理为Pillars,便于2D卷积,同时还能进行3D预测。Point-based则是直接利用点云,如3DSSD和阿里的SA-SSD都是这类方法。在Other中,OHS-DenseOHS-Direct在输入上引入了hotspotPointGNN则是引入了GNN结构。

Region Proposal-based Methods

Multi-view based Methods

MV3D

从BEV映射中一组高度精确地3D候选框,并将它们映射到多个视角的特征图中(如LiDAR的前视图,RGB图)。然后结合不同视角的每个区域的特征来预测原始的3D边界框。精度比较高,但是前向推理时间较长。
MV3D
两个方面的改进:

  • 高效融合不同模态信息
  • 提取输入数据的鲁棒表示
AVOD

将高分辨率特征提取器和多模态融合RPN结构耦合,对小目标有较高召回率的3D proposal。同时整个推理时间和内存减少。
AVOD

RT3D
ContFuse
SCANet
MMF

Segmentation-based Methods

IPOD
PointRGCN
PointRCNN

PointRCNN

PointPainting
STD

Frustum-based Methods

F-PointNets

F-PointNets

Point-SENet
PointFusion
RoarNet
F-ConvNet
Patch Refinement

Other Method

Fast Point R-CNN
PV-RCNN

PV-RCNN

Voxel R-CNN

Voxel R-CNN

VoteNet
Part-A^2Net
ImVoteNet

Single Shot Methods

BEV-based

PIXOR
HDNET

Discretization-based Methods

VeloFCN
3D FCN
Vote3Deep
3DBN
VoxelNet
SECOND

SECOND

MVX-Net
PointPillar
SA-SSD

SA-SSD

CIA-SSD

CIA-SSD

Point-based Methods

3DSSD

3DSSD

Other Methods

LaserNet
LaserNet++
OHS-Dense
Point-GNN

文献参考:
Deep Learning for 3D Point Clouds: A Survey—TPAMI2020

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值