4D成像雷达 | 重新思考自动驾驶汽车中毫米波雷达的感知
https://github.com/yuzhe-yang/radar-perception,原作者 Yuzhe-Yang
一、传统汽车毫米波雷达现状
传统毫米波雷达作为高级自动驾驶汽车系统中的辅助传感器,准确性较低,存在如误报、虚假目标、多径等影响因素。同时,缺乏高度测量能力,在某些场景中非常危险。而且雷达点云非常稀疏,没有语义信息,对周围环境的感知能力很差。
传统雷达主要用于公路等简单场景实现动态目标检测(DOD),但是不能够用于城市等复杂场景。由于测量的精度低,在传感器融合系统中的置信度较低。
通过使用基于机器学习(MI)的AI算法,传统雷达的精度得到了很大的改善,下图是一些车载雷达在实际中的演示性能
通过模型设计和数据增强,传统雷达(2000pts/s)可以高精度地探测物体,同时在静止和动态场景中保持良好的性能。
但是还存在一些问题,例如在隧道、城市等场景中的性能不佳,这限制了传统雷达在高级自动驾驶系统中的大规模使用。特斯拉因此曾经放弃了传统雷达,不过,商业布局随着技术的变化而变化,目前4D雷达又重新回归了特斯拉的新一代自动驾驶汽车系统,下一代4D雷达即将到来。
二、下一代4D成像雷达的性能
下一代4D成像雷达的性能如下(本文中的4D雷达指4D成像雷达):
(1) 点云书增加了100倍(80000点/秒);
(2)更加精确的角度分辨率;
(3)具备高度测量能力。
可以采用新一代的4D成像雷达获取包含各种信息的高质量3D点云、获得带速度类别或方向的定向矩形框,以及实现环境构造,如可行使区域检测、BEV鸟瞰图占用检测、3D占用检测。如下所示:
视频都发不了...
对VOD数据集(4D成像毫米波雷达点云数据集VOD(含Python和MATLAB数据解析仿真代码))进行实验,结果表明,4D雷达在城市场景中具有良好的性能,意味着4D雷达可以用于高级自动驾驶系统。
但仅仅提供这些信息还是不够,缺陷如下所示:
- 点云和点云间距
(1)点云稀疏、缺乏空间拓扑信息;
(2)点云只能修改而不能创建,这意味着在丢失目标时无法工作;
(3)只能看到带有人工注释标签的特定类别;
(4)需要第二阶段来生成目标或者Bbox。
2.Bbox
(1)难以训练边框回归3D Bbox;
(2)容易在拐角处丢失目标;
(3)Bbox并非物体的真实形状,在某些场景中存在风险;
(4)只有小部分点云被当作前景点。训练数据比较少,数据利用率低、严重浪费雷达感知能力。
(5)依赖于人工标注,成本高昂。
因此,还需要更加充分地利用4D雷达的信息来提取更加丰富的周围环境信息。具体可以改进的方向如下:
第一是使用真实形状和运动信息检测所有现实世界的物体。补充Bbox检测并提高稳健性、增加感知常见的障碍物、如树干、墙等目标的数据。
第二是利用语义信息重建三维周边环境。比如BEV占用、可行行驶区域检测,以及带有运动信息的3D占用。
三、占用网络(The occupancy network)
占用网络基本思想是将点云数据转化为一个体素网格,并在每个体素上学习一个二值分类器,用于判断该体素是否属于某个物体。具体地,网络首先将输入点云映射到一个球形表面上,并利用一个编码器将球面图像转换为一个隐式函数,该隐式函数可以预测空间中任意点的占据状态。然后,网络在三维空间中将该隐式函数采样为一个体素网格,并对每个体素进行二分类,从而得到每个体素的占据状态,进而重建出场景中各个物体的三维形状。
Occupancy Networks具有很强的泛化能力,可以在仅有少量标注数据的情况下,实现高质量的物体检测和重建。此外,该模型还可以在物体检测的同时输出物体的朝向和位置,有助于实现更加精细的场景理解和场景重建。
关于占用网络的详细信息这里就不展开了,可视化效果如下视频所示,读者可以自行在网上检索相关文献和资料了解。
选择占用网络的优点:
(1)具有更加自然、统一的空间表达方式;
(2)可以获得物体的形状以及周围环境的综合信息;
(3)使得多传感器融合、地图、规划、控制的交互更加高效;
(4)使得多任务学习交互更加高效;
(5)能够兼容自动驾驶端到端的未来算法。
那么,其他传感器如相机和激光雷达如何配合占用网络使用呢?
1. 相机
特斯拉发布的基于纯视觉输入的占用网络,需要大量的相机数据,并且在恶劣天气下无法正常工作,需要依靠庞大的数据驱动系统来生成训练数据并训练网络,还需要强大的实时分布式计算平台来运行网络。另外,Transformer网络不容易在平台上训练和移植,所有这些从平台外到平台上都需要花费大量的成本。
2. 激光雷达
激光雷达可以通过简单的体素化自然产生占用图,但激光雷达在恶劣天气和远距离检测中会失效,而且检测运动目标需要增加额外的成本呢,精度不够高。远距离检测高精度激光雷达的成本太高了,无法支撑量产。
作者分别使用激光雷达和毫米波雷达点云重建三维周围环境,通过实验验证发现与激光雷达的测绘结果相比4D毫米波雷达具有重建三维周围环境的潜在能力。
四、4D成像雷达
4D成像雷达是一种相对于激光雷达比较廉价,且比较稳健的传感器,可以适应所有天气和远距离检测,虽然大雨和沙城暴天气也会对4D成像雷达有一样。
4D成像雷达不需要额外的成本即可检测目标运动速度,可以提供像16线激光一样的高质量点云数据,使用简单的网络可以生成包含运动信息的3D占用。另外,4D成像雷达成本低、精度高、鲁棒性强、泛化性强,易于上板移植,并且可以与相机配合使用以产生高质量的3D占用图,与纯相机系统相比,性价比大大提高。
但是,实验验证发现使用雷达点云直接生成的具有运动状态的3D占用图,效果不如激光雷达的效果好。
原因是因为4D雷达存在噪声和虚假目标、点云边缘不清晰、物体自遮挡很严重,因此需要采用占用网络来重建3D周围环境。业界可以使用激光雷达点云来生成监督信号,具体步骤如下:
(1)使用带注释的bbox对激光雷达点云进行标注;
(2)利用自车运动信息和背景点云来绘制周围环境;
(3)使用 3D 地图中的运动信息剪切 3D 占用;
(4)将当前帧前景点云添加到3d占用中。
由于手动标注效率太低,通过激光雷达监督可以大大提高效率,节约成本。通过训练,可以使得更便宜的雷达性能解决成本高的激光雷达性能,在某些情况下,甚于毫米波雷达更好。
实验采用的占用网络输入输出结果如下:
占用网络的优点如下:
(1)当3D Bbox网络丢失目标时,3D占用网络仍然可以工作;
(2)能够输出静态感知结果,大大扩展了毫米波雷达的能力;
(3)可以通过真实形状和运动信息检测常见或者未知的障碍物;
(4)可以利用语义信息和运动信息重建3D周围环境。
占用网络的缺点如下:
(1)网络比2D Bbox复杂,训练更加耗时;
(2)重建之后噪声仍然存在。
当然,可以采用一些巧妙的网络设计方法降低网络的复杂性,也可以采用数据增强和地面实况细化。
五、未来布局
在信号处理模块,如何保留更多的信息到后端的数据处理中?比如距离-多普勒-角度图像很密集,可以选择直接提升到 3D 点云。
在感知层面,如何高效重建3D周围环境?如何更好地将精度不足的劣势转化为泛化好的优势?表示未知的障碍物的最佳方式是什么?
如何将4D雷达与其他传感器,尤其是相机进行融合?例如,纯视觉系统数据闭环非常昂贵,激光雷达价格高,在恶劣天气下无法工作,检测范围与视觉不匹配。带摄像头的4D成像雷达是一个不错的选择,但如何进行有效的融合呢?
与传统雷达相比,4D雷达在算法和功能方面处于完全不同的层面上。如何充分利用4D雷达感知周围环境的能力是一个非常有趣的话题,希望本文能够为4D雷达的未来发展提供一些启发。