Apollo星火计划学习笔记第五讲——Apollo感知模块详解实践1

最新推荐文章于 2024-08-15 10:40:42 发布
最新推荐文章于 2024-08-15 10:40:42 发布
阅读量1.6k 收藏 7
点赞数 1
分类专栏： 自动驾驶 # Apollo 文章标签： 自动驾驶 感知算法 Apollo 传感器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37346140/article/details/127539593
版权

Apollo学习笔记

零、目录

在这里插入图片描述
在这里插入图片描述

一、感知的作用

在这里插入图片描述

何为必要信息？

下图为驾驶过程中，从人的角度来说必要信息的解读：

在这里插入图片描述

左图第一层：4D毫米波雷达点云图
左图中间层：摄像头
左图第三层：激光雷达点云数据图

右图：三层融合后输出鸟瞰图

右图给到工控模块进行路径规划、障碍物躲避等等。

二、常见传感器介绍

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

常说的感知传感器一般就包含上述环境传感器中的四种；实际操作时用到的感知框架则还包含自车传感器。

没有完美的传感器，所以基本都是多传感器融合。

2.1 相机

在这里插入图片描述

双目摄像头可通过几何关系得到深度信息。

2.2 激光雷达

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

光源的选择影响测距性能，自然干扰情况；

在这里插入图片描述

堆叠了多少发射器决定了其性能，64线/128线雷达即堆叠了多少个发射器，即在同一水平角度能一次性发出去多少线。

在这里插入图片描述

只接受一个波段信息，所以缺乏颜色信息、纹理等信息。

2.3 摄像头和激光雷达比较

在这里插入图片描述

挡板被挡住或过曝时激光雷达仍可正常工作。

2.4 毫米波雷达

在这里插入图片描述

2.5 部署方案

在这里插入图片描述

5：目标探测更加准确
4：目标探测良好；
3：辅助作用或者存在功能缺陷

在这里插入图片描述
在这里插入图片描述

三、传感器标定

在这里插入图片描述

传感器的安装位置根据不同的车型、不同的使用均有各自的特殊性。

标定目的：将所有传感器坐标同一到车身坐标系下。

3.1 坐标系

坐标系可参见博主的另一篇博文：坐标系及标定。
在这里插入图片描述

3.2 内参和自标定

在这里插入图片描述
有时候供应商会提供内参参数，若没有可通过OpenCV、标定板等测取内参。

激光雷达最原始的输出是极坐标输出，正常情况下，极坐标转到笛卡尔坐标是在驱动中完成的一个转换。

完成这一步即完成了所有数据到传感器坐标下的一个转换。

3.3 Camera2Camera

在这里插入图片描述

传感器坐标→车身坐标

在这里插入图片描述

3.4 LiDAR2LiDAR

在这里插入图片描述

3.5 Radar2LiDAR

在这里插入图片描述
毫米波雷达给到信息：二维的，x，y和速度信息，即（x,y,yaw），没有高度信息。

3.6 Camera2LiDAR

在这里插入图片描述
一个较新的联合标定方法。

同一块打了四个圆点的棋盘格进行相机和激光雷达的联合标定（且包含内参标定，用棋盘格求解相机内参）。

该论文工作室还开源了此标定工具。

3.7 无目标方法

在这里插入图片描述
在这里插入图片描述

四、感知流程和算法

在这里插入图片描述

至此，可以认为已经具备一辆安装好了传感器且传感器也标定好了的车，下一步即正式进入感知模块。
在这里插入图片描述

4.1 感知算法流程

在这里插入图片描述

这里主要针对监督学习。

4.2 CV任务

在这里插入图片描述

freespace：可行驶区域。

实例分割：目标检测+语义分割

4.3 全景分割

在这里插入图片描述

4.4 激光雷达点云算法前处理

在这里插入图片描述

在这里插入图片描述

激光雷达处理的特殊之处：数据前处理有个点云补偿（motion compensation）部分，因为每个激光束发射时间有间隔（垂直和水平方向都有间隔）会导致误差。

4.5 激光雷达点云检测常见算法

在这里插入图片描述

左侧Point_based算法：在数据自动标注等对时间没有高要求时会考虑准确度更高的算法即Point_based算法。

右下两个算法用得相对较少。

4.6 激光雷达点云分割常见算法

4.7 融合介绍

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
BEV融合前景相对较广。

4.8 数据集

在这里插入图片描述

4.9 算法——评价和测试

在这里插入图片描述
在这里插入图片描述

整体评价测试大抵经过上述三种测试：数据测试、场景测试和实车测试。

左一绿色框为数据来源：开源数据、自采数据和仿真数据。

中间为场景测试：偏模块和软件的功能性测试，模型在环，软件在环，硬件在环。

右边框：ivista和中汽研给出了场景定义。

4.10 数据闭环

在这里插入图片描述

4.11 训练、优化到部署

在这里插入图片描述
ONNX：较为通用

TensorRT：转为NVIDIA设计。

OpenVINO和NCCC：基于安卓平台的边缘就算。

4.12 未来：端到端

在这里插入图片描述

前文所描述是基于模块化的方式；
未来可能发展方向：端到端。

在这里插入图片描述

五、实验部分

在这里插入图片描述
在这里插入图片描述

「Apollo」Apollo感知汇总
Liiipseoroinis
12-06 4484
感知Perception概览 整个apollo perception传感器架构图如下： 整个感知模块的硬件方面包括了多个相机、毫米波雷达（前后）、激光雷达；在算法方面使用了单传感器、多传感器融合后的检测、识别，能够对障碍物进行分类、跟踪和运动轨迹的预测，除此之外还能给出障碍物的运动信息（前进方向、加速度等），给出车道相与本车的相对位置。 各传感器数据流细节如下图： 感知模块 Input 128线激光雷达数据 16线激光雷达数据 毫米波雷达数据 图像数据（相机传感器） 各传感器外参标定数据 各相机内参标
【Apollo7.0】感知模块(4)：激光雷达感知中的目标跟踪算法---具体技术细节
yangda_9527的博客
04-19 3185
激光雷达感知模块中的目标跟踪算法，涉及匈牙利匹配算法、卡尔曼滤波、形状参数滤波。
Apollo 感知模块
wangzsh187的博客
03-10 307
百度Apollo源码学习 https://www.jianshu.com/p/a444f312778a https://zhuanlan.zhihu.com/p/29723447 Apollo5.5 交通等感知 https://www.it610.com/article/1290147444264345600.htm Apollo 3.5 交通灯感知，具体代码： https://yilingui.xyz/wiki/autonomous_driving/baidu_apollo_trafficlights_c
Apollo感知
Ali_start的博客
12-10 1773
目录 计算机视觉任务 视觉图像 lidar图像 深度学习 卷积神经网络 检测与分类 tracking跟踪 segmentation 语义分割 Apollo感知： 传感器比较： 雷达与激光雷达： 感知融合 卡尔曼滤波 硬件平台 计算机视觉任务 作为人类可以自动识别图像中的物体，甚至可以推断这些物体之间的关系。但是 对于计算机而言，图像只是红色、绿色和蓝色值的集合。如何...
【Apollo】Apollo 8.0框架学习以及感知模块的实践
最新发布
一个普通的算法牛马
08-15 3583
学习Apollo感知的第一步：Apollo 8.0 感知框架的初探与实践
Apollo星火计划学习笔记——第五讲Part1 Apollo感知模块详解与实践
m0_51902001的博客
10-06 1120
学习感知模块的基础理论与算法知识
Apollo星火计划学习笔记——第六讲Part2 Apollo感知模块详解与实践
m0_51902001的博客
10-07 1246
学习Apollo中感知模块中算法与实践环节
Apollo星火计划学习笔记——第四讲Part2 Apollo定位模块详解与实践
m0_51902001的博客
10-05 2118
学习Apollo中定位模块的知识点与实践操作。
Apollo星火计划学习笔记——第三讲Apollo Cyber RT模块详解与实践
m0_51902001的博客
10-03 1542
学习Apollo中Cyber RT的诞生背景以及在Apollo及自动驾驶中的作用，最后通过实验操作来进行实践学习。
Apollo星火计划学习笔记——第四讲Part 1 Apollo自动驾驶高精度地图
m0_51902001的博客
10-04 798
学习Apollo高精度地图的原理与制作过程
内部机密！！！Apollo感知模块算法详解.pdf
03-14
内部机密！！！Apollo感知模块算法详解.pdf
Apollo感知模块算法详解.pdf
08-15
Apollo感知模块算法详解
自动驾驶：Apollo感知模块
博学而笃志，切问而近思。
03-01 1150
自动驾驶：Apollo感知模块
自动驾驶（八十一）---------Apollo之感知模块
zhouyy858
01-08 3594
预则立不预则废，本命年要注意，真男人不回头。 apollo的感知分为以下几个方面：lidar、ladar、camera、fusion。 1. Camera感知 Apollo视觉检测，地址在：Apollo/modules/perception/camera/lib/obstacle; 主要是用了YOLOv3的检测方法，一方面我们需要对多个类别进行识别：车辆、卡车、骑车人和行人等；另一方面一个网络识别一个类别精度更高，但是也需要考虑性能问题。所以在Apollo中...
Apollo自动驾驶之感知
u012739527的博客
01-07 1103
image.png 感知 人类天生就配备多种传感器，眼睛可以看到周围的环境，耳朵可以用来听，鼻子可以用来嗅，也有触觉传感器，甚至还有内部传感器，可以测量肌肉的偏转。 通过这些传感器，我们可以感知到我们周围的环境。我们的大脑每分每秒都在进行数据处理，大脑的绝大部分都是用于感知。 image.png 无人驾驶车辆也在做这些事情，只不过他们用的不是眼睛而是摄像头。 他们也有雷达和激光...
Apollo详解之感知模块——摄像头识别
weixin_49024732的博客
08-09 1293
前言 摄像头感知可以完成障碍物识别、车道线识别、红绿灯识别三种功能。 首先读取摄像头感知配置文件，该配置文件目录modules/perception/production/conf/perception/camera/fusion_camera_detection_component.pb.txt，目前摄像头感知模块只支持双摄像头感知，按照官方推荐分别是6mm和12mm焦距的摄像头。 初始化需要摄像头的内参和外参标定文件，相关标定文件在文件夹modules/perception/data/params下，内
Apollo星火计划学习笔记第六讲——Apollo感知模块详解实践2感知基础
qq_37346140的博客
11-01 1434
Apollo星火计划学习笔记第六讲——Apollo感知模块详解实践2感知基础、感知框架介绍、Lidar障碍物检测、红绿灯识别、感知模块的启动方法和基础配置
Apollo课程学习4——感知
weixin_43476492的博客
08-12 3417
Apollo课程学习4——感知学习前言感知的概述一、什么是感知二、感知的任务1、检测与分类2、跟踪3、语义分割三、图像分类器步骤传感器的选择和标定一、传感器的选择1、相机2、激光雷达3、毫米波雷达二、传感器的安装三、传感器标定四、传感器融合感知算法一、点云感知1、启发式方法：NCut2、深度学习方法：CNNSeg二、视觉感知2.1 CNN检测2.2 CNN分割2.3 后处理三、红绿灯感知四、机器学习五、神经网络1、神经网络简介2、学习（训练）——后向传播3、卷积神经网络（CNN)Apollo感知
自动驾驶：感知原理与实践
07-28
自动驾驶的感知原理与实践涉及多个方面。其中，外参标定是一项重要的任务，它包括离线标定和在线标定两种方法。离线标定是在实验室或特定环境下进行的，通过收集传感器数据并进行后期处理，以获得传感器之间的准确相对位置和姿态信息。在线标定则是在实际行驶中进行的，通过实时采集传感器数据并进行标定，以适应不同的道路和环境条件。\[1\] 在感知方面，自动驾驶系统通常使用多种传感器，如摄像头、激光雷达和雷达等。这些传感器可以提供丰富的环境信息，帮助车辆感知周围的道路、障碍物和交通标志等。对于激光雷达数据，常用的方法是使用ICP（Iterative Closest Point）算法进行点云匹配，以求解传感器之间的位姿关系。\[1\] 此外，深度学习也在自动驾驶的感知中发挥着重要作用。通过训练深度神经网络，可以实现对图像和点云数据的高级特征提取和目标检测。深度学习与几何建模的融合可以提高感知的准确性和鲁棒性，帮助自动驾驶车辆检测和识别意外障碍物。\[2\] 关于自动驾驶感知的研究，德国大学的一篇论文提供了一些关于检测方法的指导。该论文探讨了自动驾驶中视觉感知的边界情况，并提出了一些检测方法的建议。这些研究对于改进自动驾驶系统的感知能力具有重要意义。\[3\] 总之，自动驾驶的感知原理与实践涉及外参标定、传感器数据处理、深度学习和几何建模等多个方面。通过综合利用不同的技术和方法，可以提高自动驾驶车辆对周围环境的感知能力，从而实现安全、高效的自动驾驶体验。 #### 引用[.reference_title] - *1* [Apollo星火计划学习笔记——第五讲Part1 Apollo感知模块详解与实践](https://blog.csdn.net/m0_51902001/article/details/127179455)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [如何在自动驾驶的视觉感知中检测极端情况？](https://blog.csdn.net/Yong_Qi2015/article/details/123124159)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我宿孤栈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值