基于目标检测的毫米波雷达与视觉融合方法综述

 短期内的主要任务是数据的收集:本次主要是对前期阅读的一篇文章进行梳理,前段时间主要是进行了数据集的调研与改造规划。
文章名称:
MmWave Radar and Vision Fusion based Object Detection for Autonomous Driving: A Survey
文章地址:
https://arxiv.org/abs/2108.03004

摘要

 如今的自动驾驶需要满足应多种复杂场景,因此准确的目标检测方法对于汽车的安全驾驶具有关键意义,而毫米波雷达(以下统称为雷达)与视觉融合的方法成为主流,作者的这篇文章详述了当今毫米波雷达与相机融合的不同技术路线的融合方法。
 文章第一介绍对于当今用于自动驾驶的数据集,目标检测的评价标准以及主要任务。随后在三个层次:数据,决策,特征层次对融合方法进行了详细的描述,尤其是近些年来兴起的基于特征层面的目标检测融合方法。

任务描述

 在目标检测领域,在2D与3D空间的检测方式是不一样的,其中在2D空间中,需要对目标进行2Dbounding-box的绘制,此时对于图像的参数也较为简单,就是box所在的位置,种类信息。在3D领域,额外需要对物体的position进行描述,同时其bounding-box也变成一个长方体,所含的信息更加复杂。

评价标准

 评价标准,无非就是常用的AP、AR等等,同时PR曲线也可以很好的反映检测的性能。

数据集

图片描述

fig1.数据集比较

文章总览

在这里插入图片描述

fig2.文章架构
  其中,第一部分进行了传感器的比较,第二部分介绍传感器校准,第三部分介绍传感器融合

方案比较

fig3.自动驾驶中的技术方案比较

  这是自己做的图,搜集了一些资料,对比当前多种方案的优劣性,纯视觉方案之前被马斯克所提出,但是我看到过一篇文章,当前人眼无论是从分辨率,注意力机制还有其他方面,都远胜过相机,纯视觉方案此处被pass,文章使用了安全性最高的相机+雷达方案。

正文

传感器校准

在这里插入图片描述

fig4.传感器校准技术路线

 首先,数据经过多传感器的采集,经过内参、外参的校正(也就是求各自传感器的内外参),但是,此时的数据还不能够进行融合,因为相机和雷达的坐标点的对应关系还没求出,因此需要进行一部叫做联合校准的步骤,求出两个传感器的坐标转换矩阵,使得两者的坐标点可以直接对应。
 下一步,通过雷达点云滤波滤除一些杂波,然后进行误差的校正(对于决策层融合来说,会进行决策层的校正)。
 经过以上环节,所获得的数据较为可靠,可输入至下一步进行融合。

三个层次的多传感器融合方案

在这里插入图片描述

fig5.三个层次的融合方案
 如图5,由上至下,数据的抽象化等级逐渐提高。
Data Level

在这里插入图片描述

fig6.数据层融合

 其基本原理是,雷达只是对目标选择起到引导作用,只是产生ROI告诉相机你要检测这块地方,主要的检测载体仍然是相机。

Decision Level

在这里插入图片描述

fig7.决策层融合

 这一层的融合,利用了很多统计学的模型,其中不乏通过卡尔曼滤波,对观测数据和预测建立一个联合概率模型,其对数据的抽象化达到很高的层次。

Feature level

在这里插入图片描述

fig.8 特征层融合

 近些年来,随着目标检测算法的更新迭代,包括以yolo为代表的锚框检测算法,无锚框检测网络为代表的CenterNet,都给特征层融合注入了极大的活力,其中,尤其是以无锚框检测算法,可以对物体在仅获得图像信息的情况下进行预测,通过雷达点云信息进行验证,最后得到一个比通常的基于锚框的融合方案更好的结果。

  • 6
    点赞
  • 79
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
毫米波雷达视觉融合是一种将毫米波雷达视觉传感器的数据进行融合处理的技术。通过将毫米波雷达视觉传感器的数据进行融合,可以获得更全面、准确的环境感知信息。 毫米波雷达是一种利用毫米波频段的电磁波进行探测和测距的传感器。它可以在复杂环境下实现高精度的障碍物探测和测距,并且不受光线、雨雪等自然条件的影响。然而,毫米波雷达对目标的形状、纹理等细节信息探测能力相对较弱。 视觉传感器则可以通过摄像头获取环境的图像信息,包括目标的形状、颜色、纹理等细节信息。视觉传感器具有很高的空间分辨率和丰富的表达能力,可以对目标进行更加准确的识别和分类。然而,视觉传感器在低光、强光、雾霾等特殊环境下的性能会受到一定影响。 将毫米波雷达视觉传感器的数据进行融合,可以充分利用两种传感器的优势,提高环境感知的准确性和可靠性。例如,可以通过毫米波雷达获取目标的粗略位置和速度信息,再通过视觉传感器获取目标的细节信息,从而实现更准确的目标检测和跟踪。另外,毫米波雷达的能力可以弥补视觉传感器在特殊环境下的不足,提高系统的鲁棒性。 毫米波雷达视觉融合技术在自动驾驶、智能安防、无人机等领域具有广泛的应用前景,可以提高系统的感知能力和决策精度,增强系统的安全性和可靠性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

naca yu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值