![9ae2445a53d6428ac3fc810b46325315.png](https://i-blog.csdnimg.cn/blog_migrate/560af7a95cc85cb07b21c97d62e20c2d.jpeg)
arXiv2019年12月上传的,发表在IEEE Transactions on Intelligent Transportation Systems,10月底有修改版: “Cooperative Perception for 3D Object Detection in Driving Scenarios using Infrastructure Sensors”。
![ba5a09848f968f0fc30ce8dbeed8f3cf.png](https://i-blog.csdnimg.cn/blog_migrate/bfb27a39472f20ed1bf842b65800780a.jpeg)
单视角或者单智体的感知,比如3-D目标检测总有一些无法解决的问题,如有限视角、低点云密度和遮挡等。那么多个空间稀疏分布的传感器(即使是单模式)可以提供协同感知克服以上问题。
融合主要分早期和晚期两种(也有中期特征级别)。本文评估两种3-D点云目标检测的融合方法,主要采用一个合成数据集,模拟两种交通场景:环岛和T-型路口。结果表面,早期融合明显好于晚期融合。另外,融合的空间点也是一个因素。
如图是系统模型:数据在中央融合系统汇总各个传感器的数据,形成周围车辆共享一个目标单的结果。
![f49369c288798145d31ee1a3e879db6e.png](https://i-blog.csdnimg.cn/blog_migrate/e7140fd6ceaecc80961dd74fb9ec6afe.jpeg)
这里所有传感器的数据要转换成一个统一的坐标系下
![dcc758a80170030b910af3268d29e98e.png](https://i-blog.csdnimg.cn/blog_migrate/6a50effbc88a8f130f5ac5604f317842.jpeg)
如下图是早期(a-)和晚期(b-)融合的协同目标检测的示意图:
![8209c8ecb3633e0b477e185067b3e0a5.png](https://i-blog.csdnimg.cn/blog_migrate/18d64e2067881ecc8a1ee66e871cb872.jpeg)
还有一种混合方案:与晚期融合相比,早期融合方案可以提高检测目标的可能性,归因于检测之前的汇聚信息,但需要原始传感器数据共享,这增加了通信成本;作为中间解决方案,混合融合方案使用这两种方案,在不显著增加通信成本的情况下提升检测的可能性;关键点是在传感器可见度较高的情况下共享高级信息(晚期融合),可见度较低的情况下共享低级信息(早期融合);靠近传感器的目标将具有较高的点密度,因此更可能使用单个传感器的观测值来检测;因此,不需要将传感器附近的点传输到中心融合系统,可减少通信带宽。
首先,在每个传感器节点采用晚期融合方案,并将检测到的目标框共享给中心融合系统;接着,每个传感器节点选择其在水平面投影在半径R的圆之外的点,与中心融合系统共享;半径R数值用来调节早期融合和晚期融合之间的权衡;随着R减少,中心融合系统共享更多原始数据;然后,中心融合系统对输入的点云使用早期融合方案,并将检测到的边框与每个传感器节点的晚期融合结果进一步融合。
目标检测方法基于VoxelNet【19】:即Apple以前提出的方法,如图(方法不是问题重点)
![262ccefca56fcd589e64e902ba56ec72.png](https://i-blog.csdnimg.cn/blog_migrate/992b7d3c19e92e484e054576b2aa8bb4.jpeg)
模拟器采用Carla,对环岛和丁字口的模型场景如图所示:因为目前没有做这个的数据可用吧,只有自动驾驶公司才会收集实际的传感器数据。
![4dd93e19791bc38a305ebfed10c90161.png](https://i-blog.csdnimg.cn/blog_migrate/5ee67d9a6ae2353607aa7fac83af1b0c.jpeg)
这里采用的传感器是RGB-D,丁字口用了6个摄像头,环岛用了8个摄像头,结果depth图像会转换为点云,即
![82788305ebd6de2a16ddd88702c369a4.png](https://i-blog.csdnimg.cn/blog_migrate/29fea936deb63f5a31b50d55a9712318.jpeg)
这里给出一些结果:
![3a4d48c4cc77afa23205535c1121931c.png](https://i-blog.csdnimg.cn/blog_migrate/7be3b789aafeb5f58fbecc246aa6e0a7.jpeg)
![a117705d7db554b2ce42fc7c91e7ec32.png](https://i-blog.csdnimg.cn/blog_migrate/62cbb78027bdc0606c23533728b53c66.jpeg)
注:这里没有考虑车路协同,只有路端融合结果共享给车辆,而不是运动的车辆传感器和道路传感器的融合,这样会面临道路传感器数据转换到动态车辆坐标系的复杂问题。