Apollo星火计划学习笔记第五讲——Apollo感知模块详解实践1

零、目录

在这里插入图片描述
在这里插入图片描述

一、感知的作用

在这里插入图片描述

何为必要信息?

下图为驾驶过程中,从人的角度来说必要信息的解读:

在这里插入图片描述

左图第一层:4D毫米波雷达点云图
左图中间层:摄像头
左图第三层:激光雷达点云数据图

右图:三层融合后输出鸟瞰图

右图给到工控模块进行路径规划、障碍物躲避等等。

二、常见传感器介绍

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

常说的感知传感器一般就包含上述环境传感器中的四种;实际操作时用到的感知框架则还包含自车传感器。

没有完美的传感器,所以基本都是多传感器融合。

2.1 相机

在这里插入图片描述

双目摄像头可通过几何关系得到深度信息。

2.2 激光雷达

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

光源的选择影响测距性能,自然干扰情况;

在这里插入图片描述

堆叠了多少发射器决定了其性能,64线/128线雷达即堆叠了多少个发射器,即在同一水平角度能一次性发出去多少线。

在这里插入图片描述

只接受一个波段信息,所以缺乏颜色信息、纹理等信息。

2.3 摄像头和激光雷达比较

在这里插入图片描述

挡板被挡住或过曝时激光雷达仍可正常工作。

2.4 毫米波雷达

在这里插入图片描述

2.5 部署方案

在这里插入图片描述

5:目标探测更加准确
4:目标探测良好;
3:辅助作用或者存在功能缺陷

在这里插入图片描述
在这里插入图片描述

三、传感器标定

在这里插入图片描述

传感器的安装位置根据不同的车型、不同的使用均有各自的特殊性。

标定目的:将所有传感器坐标同一到车身坐标系下。

3.1 坐标系

坐标系可参见博主的另一篇博文:坐标系及标定
在这里插入图片描述

3.2 内参和自标定

在这里插入图片描述
有时候供应商会提供内参参数,若没有可通过OpenCV、标定板等测取内参。

激光雷达最原始的输出是极坐标输出,正常情况下,极坐标转到笛卡尔坐标是在驱动中完成的一个转换。

完成这一步即完成了所有数据到传感器坐标下的一个转换。

3.3 Camera2Camera

在这里插入图片描述

传感器坐标→车身坐标

在这里插入图片描述

3.4 LiDAR2LiDAR

在这里插入图片描述

3.5 Radar2LiDAR

在这里插入图片描述
毫米波雷达给到信息:二维的,x,y和速度信息,即(x,y,yaw),没有高度信息。

3.6 Camera2LiDAR

在这里插入图片描述
一个较新的联合标定方法。

同一块打了四个圆点的棋盘格进行相机和激光雷达的联合标定(且包含内参标定,用棋盘格求解相机内参)。

该论文工作室还开源了此标定工具。

3.7 无目标方法

在这里插入图片描述
在这里插入图片描述

四、感知流程和算法

在这里插入图片描述

至此,可以认为已经具备一辆安装好了传感器且传感器也标定好了的车,下一步即正式进入感知模块。
在这里插入图片描述

4.1 感知算法流程

在这里插入图片描述

这里主要针对监督学习。

4.2 CV任务

在这里插入图片描述

freespace:可行驶区域。

实例分割:目标检测+语义分割

4.3 全景分割

在这里插入图片描述

4.4 激光雷达点云算法前处理

在这里插入图片描述

在这里插入图片描述

激光雷达处理的特殊之处:数据前处理有个点云补偿(motion compensation)部分,因为每个激光束发射时间有间隔(垂直和水平方向都有间隔)会导致误差。

4.5 激光雷达点云检测常见算法

在这里插入图片描述

左侧Point_based算法:在数据自动标注等对时间没有高要求时会考虑准确度更高的算法即Point_based算法。

右下两个算法用得相对较少。

4.6 激光雷达点云分割常见算法

4.7 融合介绍

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
BEV融合前景相对较广。

4.8 数据集

在这里插入图片描述

4.9 算法——评价和测试

在这里插入图片描述
在这里插入图片描述

整体评价测试大抵经过上述三种测试:数据测试、场景测试和实车测试。

左一绿色框为数据来源:开源数据、自采数据和仿真数据。

中间为场景测试:偏模块和软件的功能性测试,模型在环,软件在环,硬件在环。

右边框:ivista和中汽研给出了场景定义。

4.10 数据闭环

在这里插入图片描述

4.11 训练、优化到部署

在这里插入图片描述
ONNX:较为通用

TensorRT:转为NVIDIA设计。

OpenVINO和NCCC:基于安卓平台的边缘就算。

4.12 未来:端到端

在这里插入图片描述

前文所描述是基于模块化的方式;
未来可能发展方向:端到端。

在这里插入图片描述

五、实验部分

在这里插入图片描述
在这里插入图片描述

自动驾驶感知原理与实践涉及多个方面。其中,外参标定是一项重要的任务,它包括离线标定和在线标定两种方法。离线标定是在实验室或特定环境下进行的,通过收集传感器数据并进行后期处理,以获得传感器之间的准确相对位置和姿态信息。在线标定则是在实际行驶中进行的,通过实时采集传感器数据并进行标定,以适应不同的道路和环境条件。\[1\] 在感知方面,自动驾驶系统通常使用多种传感器,如摄像头、激光雷达和雷达等。这些传感器可以提供丰富的环境信息,帮助车辆感知周围的道路、障碍物和交通标志等。对于激光雷达数据,常用的方法是使用ICP(Iterative Closest Point)算法进行点云匹配,以求解传感器之间的位姿关系。\[1\] 此外,深度学习也在自动驾驶感知中发挥着重要作用。通过训练深度神经网络,可以实现对图像和点云数据的高级特征提取和目标检测。深度学习与几何建模的融合可以提高感知的准确性和鲁棒性,帮助自动驾驶车辆检测和识别意外障碍物。\[2\] 关于自动驾驶感知的研究,德国大学的一篇论文提供了一些关于检测方法的指导。该论文探讨了自动驾驶中视觉感知的边界情况,并提出了一些检测方法的建议。这些研究对于改进自动驾驶系统的感知能力具有重要意义。\[3\] 总之,自动驾驶感知原理与实践涉及外参标定、传感器数据处理、深度学习和几何建模等多个方面。通过综合利用不同的技术和方法,可以提高自动驾驶车辆对周围环境的感知能力,从而实现安全、高效的自动驾驶体验。 #### 引用[.reference_title] - *1* [Apollo星火计划学习笔记——第五Part1 Apollo感知模块详解实践](https://blog.csdn.net/m0_51902001/article/details/127179455)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [如何在自动驾驶的视觉感知中检测极端情况?](https://blog.csdn.net/Yong_Qi2015/article/details/123124159)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我宿孤栈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值