点击上方“计算机视觉工坊”,选择“星标”
干货第一时间送达
作者丨黄浴@知乎
来源丨https://zhuanlan.zhihu.com/p/287130155
编辑丨计算机视觉工坊
arXiv2020年9月上传的,10月底修改版 “Cooperative Perception for 3D Object Detection in Driving Scenarios using Infrastructure Sensors”。
单视角或者单智体的感知,比如3-D目标检测总有一些无法解决的问题,如有限视角、低点云密度和遮挡等。那么多个空间稀疏分布的传感器(即使是单模式)可以提供协同感知克服以上问题。
融合主要分早期和晚期两种(也有中期特征级别)。本文评估两种3-D点云目标检测的融合方法,主要采用一个合成数据集,模拟两种交通场景:环岛和T-型路口。结果表面,早期融合明显好于晚期融合。另外,融合的空间点也是一个因素。
如图是系统模型:数据在中央融合系统汇总各个传感器的数据,形成周围车辆共享一个目标单的结果。
这里所有传感器的数据要转换成一个统一的坐标系下
如下图是早期(a-)和晚期(b-)融合的协同目标检测的示意图:
还有一种混合方案:与晚期融合相比,早期融合方案可以提高检测目标的可能性,归因于检测之前的汇聚信息,但需要原始传感器数据共享,这增加了通信成本;作为中间解决方案,混合融合方案使用这两种方案,在不显著增加通信成本的情况下提升检测的可能性;关键点是在传感器可见度较高的情况下共享高级信息(晚期融合),可见度较低的情况下共享低级信息(早期融合);靠近传感器的目标将具有较高的点密度,因此更可能使用单个传感器的观测值来检测;因此,不需要将传感器附近的点传输到中心融合系统,可减少通信带宽。
首先,在每个传感器节点采用晚期融合方案,并将检测到的目标框共享给中心融合系统;接着,每个传感器节点选择其在水平面投影在半径R的圆之外的点,与中心融合系统共享;半径R数值用来调节早期融合和晚期融合之间的权衡;随着R减少,中心融合系统共享更多原始数据;然后,中心融合系统对输入的点云使用早期融合方案,并将检测到的边框与每个传感器节点的晚期融合结果进一步融合。
目标检测方法基于VoxelNet【19】:即Apple以前提出的方法,如图(方法不是问题重点)
模拟器采用Carla,对环岛和丁字口的模型场景如图所示:因为目前没有做这个的数据可用吧,只有自动驾驶公司才会收集实际的传感器数据。
这里采用的传感器是RGB-D,丁字口用了6个摄像头,环岛用了8个摄像头,结果depth图像会转换为点云,即
这里给出一些结果:
注:这里没有考虑车路协同,只有路端融合结果共享给车辆,而不是运动的车辆传感器和道路传感器的融合,这样会面临道路传感器数据转换到动态车辆坐标系的复杂问题。
本文仅做学术分享,如有侵权,请联系删文。
下载1
在「计算机视觉工坊」公众号后台回复:深度学习,即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。
下载2
在「计算机视觉工坊」公众号后台回复:计算机视觉,即可下载计算机视觉相关17本pdf书籍,包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。
下载3
在「计算机视觉工坊」公众号后台回复:SLAM,即可下载独家SLAM相关视频课程,包含视觉SLAM、激光SLAM精品课程。
重磅!计算机视觉工坊-学习交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~