Apollo星火计划学习笔记第六讲——Apollo感知模块详解实践2感知基础

最新推荐文章于 2024-06-17 16:41:47 发布

我宿孤栈

最新推荐文章于 2024-06-17 16:41:47 发布

阅读量1k

点赞数

分类专栏：自动驾驶 # Apollo 人工智能文章标签：自动驾驶 Apollo 感知

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_37346140/article/details/127639072

版权

人工智能同时被 3 个专栏收录

24 篇文章 16 订阅

订阅专栏

14 篇文章 6 订阅

订阅专栏

10 篇文章 11 订阅

订阅专栏

Apollo学习笔记

零、目录
一、Apollo感知框架介绍
二、Lidar障碍物检测、红绿灯识别
三、模块的启动方法和基础配置
四、感知模块启动视频演示

零、目录

在这里插入图片描述

一、Apollo感知框架介绍

在这里插入图片描述

1.1 检测和分类

在这里插入图片描述

1.2 跟踪

在这里插入图片描述

感知要实现的功能：

红绿灯检测
车道线检测
基于相机的障碍物检测
基于点云的3D障碍物检测
radar检测

1.3 感知模块代码结构

在这里插入图片描述

1.3.1 感知模块入口

在这里插入图片描述

看代码从此处开始

在这里插入图片描述

dag文件启动：

mainboard -d 路径/***.dag

在这里插入图片描述

上图所示为conf文件下一个64线Lidar的配置文件。

在这里插入图片描述

value：对应配置文件的目录

在这里插入图片描述

二、Lidar障碍物检测、红绿灯识别

2.1 Lidar感知模块

在这里插入图片描述

流程：
点云预处理→3D障碍物检测→目标追踪→融合

输出：
type类型（车辆、行人、非机动车道？）、distance目前空间中的位置、velocity（当前速度）、航向角（heading）

2.1.1 dag文件

在这里插入图片描述

首先需要了解dag文件。

上图流程中检测到的障碍物detection objects是单帧的。

在这里插入图片描述

module_config：
module_library：说明最终会生成一个二进制文件.so
components：实现哪些功能
components/config_file_path：即1.3.1中的config文件，其config目录
reader：该模块读取哪个channel的数据

检测模块
在这里插入图片描述

上游：128线激光雷达拿到的数据

点云补偿等

输出：检测到的障碍物

追踪模块
在这里插入图片描述

输出：融合之前的障碍物

融合模块
在这里插入图片描述
fusion_method：概率融合

2.1.2 源码追溯

通过.so可执行文件搜索其源码，可知它由如下build文件产生。
在这里插入图片描述

deps：再查看deps中的target——inner_lidar又由什么生成，同理一层一层寻找。

在这里插入图片描述

可在component的BUILD里边查看。
在这里插入图片描述

2.1.3 具体实现—检测模块

代码结构
在这里插入图片描述

proto文件和配置文件相互对应

在这里插入图片描述

设计模式

在这里插入图片描述
比如右侧detector：可通过多种方式实现，但实现的时候只能采用其中一。通过配置文件选取指定detector。

补充CNN和Pointpillars

在这里插入图片描述

图片是三个通道。

在这里插入图片描述

9个通道：
(x,y,z)：空间位置
r：点云强度
xc：中心
其他点云点相对于中心的偏移

再类似图像的3个通道卷积，这里对9个通道进行卷积操作。
在这里插入图片描述
紫色圆框：先缩小分辨率；再上采样（方便检测体积不同的障碍物）

2.1.4 具体实现—追踪模块

代码结构
在这里插入图片描述

匹配过程中考虑因素：类型相近、大小、heading等。

在这里插入图片描述

得到障碍物轨迹后可用来做预测：如下2为直行趋势，3为右转趋势。

在这里插入图片描述

optimizer里边。

在这里插入图片描述

1可以匹配的有a和b，所以可暂时1匹配a；

在这里插入图片描述

2可以匹配的有b和c，所以可暂时2匹配b；

在这里插入图片描述

此时3已无新的可匹配项，故让3匹配a，再让1匹配另一个（此时1还有得选），依次推到2也要更改匹配为c。

在这里插入图片描述

在这里插入图片描述
d：可能是新出现的障碍物
4：可能是已经消失的障碍物，若持续几帧还未检测到，则将之抛弃。

在这里插入图片描述

location距离不会相差太大；
direction即heading也不会相差太大，不太可能前一帧向前后一帧向后；
大小。

在这里插入图片描述

最下函数专门计算各个维度的distance。

代码结构
在这里插入图片描述

关联模块
测量值模块
多激光雷达融合模块
地图分割模块（目前貌似未使用）

右下思维导图解析：

首先由MlfEngine实现，其分为两个模块MlfTrackObjectMatcher和MlfTracker；
MlfTrackObjectMatcher：数据匹配模块，即上述匈牙利匹配和distance计算；distance_collection收集进行匹配所需要的数据后交由MlfTrackObjectDistance进行计算最终得出一个权重送到二分图中进行匈牙利匹配，匹配有前景和后景（Gnn）两个匹配；
匹配完成后需要对运动状态进行更新：两个模块，形状更新（shape）和速度信息之类（motion）更新；同样需要收集当前数据信息再进行计算后refine。

卡尔曼滤波
在这里插入图片描述

假设它匀速运动，可得到Xt时刻的位置：
在这里插入图片描述

Xm为地图测量得到的位置

在这里插入图片描述

此时该信哪一个位置呢？Xt还是Xm？

可通过权重分配进行计算，若传感器精度较为精确，可赋予Xm更高的权重后进行计算：

在这里插入图片描述

2.1.5 具体实现—融合模块

上述tracking障碍物已具有速度。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

第一步：关联

代码结构
在这里插入图片描述

左上：max_lidar_invisible_period，允许最大跟丢时间；不同传感器设定不同阈值；

右下：每个传感器特性不一样因此每个传感器融合的距离也有所不一。

配置文件先打开。

在这里插入图片描述

从include里边找到依赖库

在这里插入图片描述

此时是基类，可查看是哪里引用了它，便可找到它的派生类。

在这里插入图片描述

DS证据理论
在这里插入图片描述

在这里插入图片描述

2.2 红绿灯识别

在这里插入图片描述

dag文件

在这里插入图片描述

若果没有红绿灯信息会返回进行下一次的查询；

获取红绿灯ID后获取其在点云中的位置（高精地图中的位置）；
长焦摄像头：
在这里插入图片描述

短焦摄像头：
在这里插入图片描述

这张会被舍去，转而锁定短焦摄像头那一张；若两张摄像头都可见，则选择清晰的那一张。

在这里插入图片描述

在这里插入图片描述

投影后：
在这里插入图片描述

在这里插入图片描述

时序预测修正
在这里插入图片描述

在这里插入图片描述

三、模块的启动方法和基础配置

在这里插入图片描述

四、感知模块启动视频演示

在这里插入图片描述

关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
打赏
0
评论
Apollo星火计划学习笔记第六讲——Apollo感知模块详解实践2感知基础

Apollo星火计划学习笔记第六讲——Apollo感知模块详解实践2感知基础、感知框架介绍、Lidar障碍物检测、红绿灯识别、感知模块的启动方法和基础配置
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

我宿孤栈 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。