文章目录
未完待续。。。
1、自动驾驶简介
来自:浅谈自动驾驶技术与挑战
L0:主动刹车、盲点监测、车道偏离预警和车身稳定系统都属于 L0 级别的自动驾驶;
L1:如车道保持系统,定速巡航系统等应属于 L1 级别的自动驾驶
L2:可以同时自动进行加减速和转向的操作,也意味着自适应巡航功能和车道保持辅助系统可以同时工作;
L3:而目前公认的 L3 级自动驾驶入门门槛必须是带有激光雷达。
2、感知
传感器
在ADAS领域,毫米波雷达算是一位老兵了,业界已经有十分成熟的产品,成本低,可靠性高,但存在的问题是在城市工况下的误检和漏检很多。在激光雷达和图像衬托下,它显得有些多余了,
2D摄像头所得到的都是真实世界在透视视图(Perspective View)下的投影(世界坐标系到图像坐标系)。它并不知道这个障碍物距离车辆的距离,也不知道障碍物的实际三维形状和大小。
想要得到3D空间的信息,一个最直接的方法就是采用激光雷达(LiDAR)。
LiDAR 的学名叫做激光雷达,它是"光探测和测距"(Light detection and ranging)的简称(筋斗云与自动驾驶)。
LiDAR输出的3D点云可以直接用来获取障碍物的距离和大小(3D物体检测),以及场景的深度(3D语义分割)。
点云的优势在于距离和深度感知精确,而图像的优势在于语义信息更加丰富。
LiDAR也有其缺点,比如成本较高,车规级产品量产困难,受天气影响较大等等。因此,单纯基于摄像头的3D感知仍然是一个非常有意义和价值的研究方向。
-
单目3D感知
虽然可以利用先验知识和图像中的上下文信息,基于单目的3D感知的准确度并不能完全令人满意。尤其是当采用深度学习的策略时,算法的准确度非常依赖于数据集的大小和质量。对于数据集中没有出现过的场景,算法在深度估记和物体检测上都会有较大的偏差。
-
双目3D感知
双目视觉可以解决透视变换带来的歧义性,因此从理论上来说可以提高3D感知的准确度。但是双目系在硬件和软件上要求都比较高。硬件上来说需要两个精确配准的摄像头,而且需要保证在车辆运行过程中始终保持配准的正确性。软件上来说算法需要同时处理来自两个摄像头的数据, 计算复杂度较高,保证算法的实时性就更加困难。
学习来自 如何看待毫米波雷达和激光雷达之间的差别,哪个才是自动驾驶感知的最优选择?
早期的ADAS基本方案就是一个车头毫米波雷达+一个驾驶位挡风玻璃下的摄像头+车尾超声波雷达的配置。
这三种感知探测设备成本不高,技术成熟,而且可以实现L2级别的大多数功能,如自适应巡航,AEB,LKA,行人保护,交通标志识别,倒车辅助等。
(1)超声波雷达——倒车雷达传感器,擅长采集近距离数据
- 频率越高,灵敏度越高,但水平与垂直方向的探测角度就越小,一般用40kHz的探头
- 用户在低速泊车过程中的“滴滴”声即为雷达测距提示音
- 车速较快时,误差较大
(2)毫米波雷达,擅长移动的物体,不擅长识别静态障碍物
- 一般毫米波雷达装在车辆的车头正前方,保险杠的下方。得到汽车和其他物体之间的相对距离、相对速度、角度、运动方向等。
- 主要用于汽车前向防撞、侧向防撞、后向防撞、自动巡航、汽车自动启停、盲点监测、行人检测、汽车自动驾驶。
- 需要探测行人这种反射界面较小的物体的时候,毫米波雷达容易出现误报。
- 分辨率低,无法清晰辨别较小的物体,且对金属极为敏感。(一个不规则小块金属可能识别成一个大表面积的大块金属。)——如果要更清楚辨别较小物体,就要把毫米波雷达的探测阈值设低,但毫米波雷达又对金属敏感度太高,调低阈值噪点增多,这样的结果就是会有越来越多“鬼影”的出现,会出现众多的虚报物体。
(3)激光雷达像鹰眼,可以看到远处小物体
- 其工作原理是通过发射信号和反射信号的对比,构建出点云图,从而实现诸如目标距离、方位、速度、姿态、形状等信息的探测和识别。通常安装在车顶位置或车头前保位置
- 抗电子干扰
- 成本高,受天气影响比较大——由于是光束,会受到空气中微粒的影响,eg 反光场景会出现虚影、重影
- 颜色、图案的识别能力很弱(如不能通过激光雷达识别道路交通牌子上面的内容)
问界M9上搭载的华为192线激光雷达,折合约为210万像素,而前置摄像头为800万像素。目前,激光雷达的像素普遍不及摄像头。像素低了,扫描模型就会变“糊”,影响信息传递的准确性。除此之外,激光雷达探测距离、扫描频率、抗环境干扰能力、体积、功耗等方面,还有许多优化空间。—— 车圈大变天!激光雷达即将被判死刑?
毫米波雷达精度低,但是可以方便得到周围物体的相对速度和距离。摄像头可以获得平面图形,看懂交通标识和分辨颜色。激光雷达探测精度高,可以获得周围物体的三维图像。超声波雷达在短距离测距中有着极大的成本、能耗低的优势。
自动驾驶需要计算机视觉来理解和导航环境。计算机视觉的作用是:
检测车道线
检测其他物体——环境中的车辆、人类、动物
跟踪检测到的物体
预测他们可能的运动
因此我根据车道线的标准宽度估计了像素到米的转换
雷达去噪
多模态传感器融合
来自:
-
《Multi-modal Sensor Fusion for Auto Driving Perception: A Survey》(arXiv-2022)
前融合
深度融合
后融合(ensemble method)
非对称融合
基于弱融合的方法通常使用基于规则的方法来利用一种模态数据作为监督信号,以指导另一模态的交互
高精尖地图
因此很多人在高精地图上的自动驾驶与其说是自动驾驶汽车不如说更像是运行在虚拟铁轨上的自动驾驶火车。
不依赖高精地图的自动驾驶主要有三个难点:
- 更强的感知能力
- 要求更高的定位和地图使用
GPS,IMU(Inertial Measurement Unit,惯性测量单元,主要用来检测和测量加速度与旋转运动的传感器),轮速计便成了自动驾驶功能更需要倚重的传感——当你手中食材有限,仍旧要做出色香味俱全的佳肴,代表对烹饪技巧必须更加精益求精 - 在不确定环境下进行的决策规划的能力
BEV
高精度地图应用过程中无法做到实施更新、法规风险高、高成本的三大问题难以解决。
BEV (Bird’s eye view,鸟瞰图) 感知算法通过将不同视角的摄像头采集到的图片统一转换到上帝视角,相当于车辆实施生成活地图,补足了自动驾驶后续决策所需要的道路拓扑信息,因而可以实现去高精度地图化。
自动驾驶算法“重感知,轻地图”趋势明确。
ICRA 2022杰出论文:把自动驾驶2D图像转成鸟瞰图,模型识别准确率立增15%
Liao B, Chen S, Wang X, et al. Maptr: Structured modeling and learning for online vectorized hd map construction[J]. arXiv preprint arXiv:2208.14437, 2022.
华为&上交强强联合!BLOS-BEV:200米超远BEV感知是什么魔法?导航地图强势助力!
Wu H, Zhang Z, Lin S, et al. BLOS-BEV: Navigation Map Enhanced Lane Segmentation Network, Beyond Line of Sight[J]. arXiv preprint arXiv:2407.08526, 2024.
Standard-Definition (SD) navigation maps
Occupancy
在汽车领域中,特别是在自动驾驶领域,Occupancy 通常与车辆周围环境感知和决策制定相关。具体来说,Occupancy Network(占用网络)是一种深度学习方法,用于从多视图图像中生成车辆周围环境的三维占用网格。
Occupancy Network 的工作原理是将来自多个传感器的输入数据(如摄像头、激光雷达等)转换为一个三维特征空间,并基于这些数据生成一个三维占用网格。这个网格可以表示车辆周围环境中的障碍物、道路、其他车辆等信息,为自动驾驶系统提供重要的环境感知能力。
Occupancy Network 在自动驾驶系统中有多种应用,包括:
-
障碍物检测:Occupancy Network 可以用于检测车辆周围的障碍物,如其他车辆、行人、骑自行车者等,帮助自动驾驶系统避免碰撞。
-
路径规划:Occupancy Network 可以根据环境感知信息生成车辆的行驶路径,并避免障碍物,确保自动驾驶系统的安全行驶。
-
车辆控制:Occupancy Network 还可以用于控制车辆的速度和方向,以确保自动驾驶系统按照规划路径行驶,并避免潜在的危险。
随着自动驾驶技术的不断发展,Occupancy Network 将在自动驾驶系统中发挥越来越重要的作用,提高系统的安全性、可靠性和智能化水平。
Corner Cases
《Corner Cases for Visual Perception in Automated Driving:Some Guidance on Detection Approaches》(arXiv-2021)
例子
翻译版本
智能座舱芯片
以前 Intel、renesas(日本瑞萨科技)、Texas instruments(美国德州仪器)
2014 年美国高通 Qualcomm 开始推,
2021 高通骁龙 8155(改自2019年的855,7nm 8核8TOPS算力手机旗舰芯片,用于小米9,一加7,三星S10,redmi k20 pro等)
2023 高通骁龙 8295(改自2020年8CX Gen3笔记本芯片,5nm,30TOPS算力)
以前多枚 ECU 和 MCU 主控芯片,通信成本高
现在单颗 SoC 取代多枚 MCU,分大域(底盘、智舱、智驾、动力)
智驾 intel orin-x
智舱 骁龙8295
CPU-GPU-NPU
车规级,频率下降,功耗降低,稳定耐用
改的时候可以打补丁提升安全性,比如 SoC 8295 主板上外挂一个 MCU 做高等级安全冗余,SoC 向 MCU 发心跳包通信,形成摇篮系统
趋势:舱驾一体,两颗融合成一颗
MCU 和 SOC 的区别
下面从不同角度来对比区分
MCU,Microcontroller Unit,微控制单元,含有 CPU、flash/rom、SRAM 单元。别名单片机
SoC,Systerm on a Chip,系统级芯片,芯片(半导体)工艺层面定义的,含有 CPU、flash/rom、SRAM 等,全部设计到一起在一块晶圆上
3、End-to-end
传统自动驾驶涵盖
- 探测(detection);
- 跟踪(tracking);
- 静态环境建图(mapping)
- 高精地图定位;
- 目标物轨迹预测
- 本车轨迹规划;
- 运动控制。
感知的结果足够正确(×)
规划控制获得的信息足够丰富(×)
模块化自动驾驶的弊端:信息的有损传递
端到端
Hu Y, Yang J, Chen L, et al. Planning-oriented autonomous driving[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 17853-17862.
CVPR 2023 Best Paper
FSD v12,首次端到端落地
4、Interesting Application
无头汽车
自动驾驶,无头汽车
红绿灯检测
V2X > 高精度地图 > 感知识别
“V2X” 意思是“VehicleTo Everything”,意为车与所有物体的连接。那么具体与那些东西相连呢?
- V2I (Vehicle To Infrastructure) 意为车与基础设施之间的连接
- V2N (Vehicle To Network)
- V2V (Vehicle To Vehicle)
- V2P (Vehicle To Pedestrian)
百度Apollo3.5的感知框架图
【附录】专业名词缩写
-
ABS - Anti-lock Braking System(防抱死制动系统)
-
ACC - Adaptive Cruise Control(自适应巡航控制系统)
-
ADAS,Advanced Driving Assistant System(高级驾驶辅助系统)
-
AEB,Autonomous Emergency Braking(自动紧急刹车系统)
-
AFS - Adaptive Front-lighting System(自适应前照明系统)
-
AMT - Automated Manual Transmission(电子自动变速箱/电控机械式自动变速器)
-
APA - Automatic Parking Assist(自动泊车辅助系统)
-
ASC - Active Stability Control(主动式稳定控制系统)
-
ASR - Acceleration Slip Regulation(加速防滑系统)
-
AVM- Around View Monitor(全景监控系统),通过多个摄像头为驾驶员提供车辆周围 360 度的全景视图,有效消除视觉盲区,
-
AWD - All-Wheel Drive(全时四轮驱动系统)
-
AYC - Active Yaw Control(主动偏航控制系统)
-
BAS - Brake Assist System(制动辅助系统)
-
CAS,Collision Avoidance System,防撞系统
-
DSC - Dynamic Stability Control(动态稳定控制系统)
-
EBA - Electronic Brake Assist(电子制动辅助系统)
-
EBD - Electronic Brakeforce Distribution(电子制动力分配系统)
-
EDS - Electronic Differential System(电子差速锁)
-
ESP - Electronic Stability Program(电子稳定程序系统)
-
-
LAK - Lane Keeping Assist(车道保持辅助)
-
LSD - Limited Slip Differential(限滑差速器)
-
MCU - Microcontroller Unit(微控制器),MCU将微型计算机的基本功能集成到一块芯片上,形成了一个具有特定功能的计算机系统。它通常包含CPU(中央处理器)、内存(RAM和ROM)、I/O接口(输入输出接口)、定时/计数器以及串行通信接口等模块。
-
MDC,Mobile Data Center,移动数据中心
-
NCA,Navigation Controlled Autopilot,即导航控制辅助驾驶。它是一种基于导航路径的自动驾驶辅助功能,旨在提高驾驶的便捷性和安全性。
-
NGP,Navigated Guided Pilot,即导航辅助驾驶系统。它是基于高精地图导航路径的自动驾驶辅助功能,旨在实现车辆在高精地图覆盖范围内的部分自动驾驶功能。
-
NOA是Navigate on Autopilot的缩写,中文意思是自动辅助导航驾驶。旨在通过一系列传感器和计算机视觉技术,使车辆能够在某些道路和交通条件下自动进行转向、加速和制动。
NOA功能依赖于特斯拉车辆上的自动驾驶硬件和软件,包括雷达、摄像头、超声波传感器以及强大的计算处理能力。当启用NOA时,车辆能够识别道路标记、交通信号以及周围的车辆和障碍物,并根据这些信息来自动调整行驶状态。
NOA,Navigate on Autopilot,即自动辅助导航驾驶。它是特斯拉Autopilot自动驾驶系统中的一个功能,旨在让车辆能够在高速公路或城市街道上自动进行导航和驾驶。
各种不同叫法——每家叫的有所差异
-
Multitronic - 多极子-无级自动变速器
-
Quattro - 全时四轮驱动系统
-
TCS - Traction Control System(牵引力控制系统)
-
Tiptronic - 轻触子-自动变速器
-
VDC,Virtual Data Center,即虚拟化数据中心——执行机构
-
VSC - Vehicle Stability Control(车身稳定控制系统)