来源:计算机视觉工坊
0. 笔者个人体会
自动驾驶3D目标检测和语义分割的训练需要非常大的数据量,但是这方面的数据标签又很少。最近有一项开源工作SPOT换了一种思路,既然直接训练3D目标检测/分割任务太麻烦,那不妨直接训练一个通用的预训练权重,需要用的时候用少量数据微调一下就可以。
下面将为大家简单介绍这项工作SPOT,它也是首次利用Occupancy预测实现了通用的3D预训练。
下面一起来阅读一下这项工作,文末附论文和代码链接~
1. 效果展示
为啥要用占用检测来预训练3D目标检测/语义分割呢?
作者认为相对于3D目标检测和语义分割,Occupancy预测是基于更密集、类别更丰富的体素,既包含了3D目标检测的空间信息,又包含了语义分割中引入的语义信息。因此Occupancy预测是一种更通用的任务级预训练任务。
SPOT这项工作表明,Occupancy预测产生的预训练权重,可以非常好的提升各种下游3D任务。这里也推荐工坊推出的新课程《彻底搞懂视觉-惯性SLAM:VINS-Fusion原理精讲与源码剖析》。