Apollo星火计划学习笔记第六讲——Apollo感知模块详解实践2感知基础

14 篇文章 6 订阅
10 篇文章 11 订阅

零、目录

在这里插入图片描述
在这里插入图片描述

一、Apollo感知框架介绍

在这里插入图片描述
在这里插入图片描述

1.1 检测和分类

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2 跟踪

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

感知要实现的功能:

  • 红绿灯检测
  • 车道线检测
  • 基于相机的障碍物检测
  • 基于点云的3D障碍物检测
  • radar检测

1.3 感知模块代码结构

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.3.1 感知模块入口

在这里插入图片描述

看代码从此处开始

在这里插入图片描述

dag文件启动:

mainboard -d 路径/***.dag

在这里插入图片描述

上图所示为conf文件下一个64线Lidar的配置文件。

在这里插入图片描述

value:对应配置文件的目录

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

二、Lidar障碍物检测、红绿灯识别

2.1 Lidar感知模块

在这里插入图片描述

流程:
点云预处理→3D障碍物检测→目标追踪→融合

输出:
type类型(车辆、行人、非机动车道?)、distance目前空间中的位置、velocity(当前速度)、航向角(heading)

2.1.1 dag文件

在这里插入图片描述

首先需要了解dag文件。

上图流程中检测到的障碍物detection objects是单帧的。

在这里插入图片描述
在这里插入图片描述

module_config:
module_library:说明最终会生成一个二进制文件.so
components:实现哪些功能
components/config_file_path:即1.3.1中的config文件,其config目录
reader:该模块读取哪个channel的数据

检测模块
在这里插入图片描述

上游:128线激光雷达拿到的数据

点云补偿等

输出:检测到的障碍物

追踪模块
在这里插入图片描述

输出:融合之前的障碍物

融合模块
在这里插入图片描述
fusion_method:概率融合

2.1.2 源码追溯

通过.so可执行文件搜索其源码,可知它由如下build文件产生。
在这里插入图片描述

deps:再查看deps中的target——inner_lidar又由什么生成,同理一层一层寻找。

在这里插入图片描述

可在component的BUILD里边查看。
在这里插入图片描述

2.1.3 具体实现—检测模块

代码结构
在这里插入图片描述

proto文件和配置文件相互对应

在这里插入图片描述

设计模式

在这里插入图片描述
比如右侧detector:可通过多种方式实现,但实现的时候只能采用其中一。通过配置文件选取指定detector。

补充CNN和Pointpillars

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

图片是三个通道。

在这里插入图片描述
在这里插入图片描述

9个通道:
(x,y,z):空间位置
r:点云强度
xc:中心
其他点云点相对于中心的偏移

再类似图像的3个通道卷积,这里对9个通道进行卷积操作。
在这里插入图片描述
紫色圆框:先缩小分辨率;再上采样(方便检测体积不同的障碍物)

2.1.4 具体实现—追踪模块

代码结构
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

匹配过程中考虑因素:类型相近、大小、heading等。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

得到障碍物轨迹后可用来做预测:如下2为直行趋势,3为右转趋势。

在这里插入图片描述
在这里插入图片描述

optimizer里边。

在这里插入图片描述

1可以匹配的有a和b,所以可暂时1匹配a;

在这里插入图片描述

2可以匹配的有b和c,所以可暂时2匹配b;

在这里插入图片描述

此时3已无新的可匹配项,故让3匹配a,再让1匹配另一个(此时1还有得选),依次推到2也要更改匹配为c。

在这里插入图片描述

在这里插入图片描述
d:可能是新出现的障碍物
4:可能是已经消失的障碍物,若持续几帧还未检测到,则将之抛弃。

在这里插入图片描述

location距离不会相差太大;
direction即heading也不会相差太大,不太可能前一帧向前后一帧向后;
大小。

在这里插入图片描述

最下函数专门计算各个维度的distance。

代码结构
在这里插入图片描述

  • 关联模块
  • 测量值模块
  • 多激光雷达融合模块
  • 地图分割模块(目前貌似未使用)

右下思维导图解析:

  • 首先由MlfEngine实现,其分为两个模块MlfTrackObjectMatcher和MlfTracker;
  • MlfTrackObjectMatcher:数据匹配模块,即上述匈牙利匹配和distance计算;distance_collection收集进行匹配所需要的数据后交由MlfTrackObjectDistance进行计算最终得出一个权重送到二分图中进行匈牙利匹配,匹配有前景和后景(Gnn)两个匹配;
  • 匹配完成后需要对运动状态进行更新:两个模块,形状更新(shape)和速度信息之类(motion)更新;同样需要收集当前数据信息再进行计算后refine。

卡尔曼滤波
在这里插入图片描述

假设它匀速运动,可得到Xt时刻的位置:
在这里插入图片描述

Xm为地图测量得到的位置

在这里插入图片描述

此时该信哪一个位置呢?Xt还是Xm?

可通过权重分配进行计算,若传感器精度较为精确,可赋予Xm更高的权重后进行计算:

在这里插入图片描述

2.1.5 具体实现—融合模块

上述tracking障碍物已具有速度。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 第一步:关联

代码结构
在这里插入图片描述

左上:max_lidar_invisible_period,允许最大跟丢时间;不同传感器设定不同阈值;

右下:每个传感器特性不一样因此每个传感器融合的距离也有所不一。

配置文件先打开。

在这里插入图片描述
在这里插入图片描述

从include里边找到依赖库

在这里插入图片描述
在这里插入图片描述

此时是基类,可查看是哪里引用了它,便可找到它的派生类。

在这里插入图片描述

DS证据理论
在这里插入图片描述

在这里插入图片描述

2.2 红绿灯识别

在这里插入图片描述

dag文件

在这里插入图片描述
在这里插入图片描述

若果没有红绿灯信息会返回进行下一次的查询;

获取红绿灯ID后获取其在点云中的位置(高精地图中的位置);
长焦摄像头:
在这里插入图片描述

短焦摄像头:
在这里插入图片描述
在这里插入图片描述

这张会被舍去,转而锁定短焦摄像头那一张;若两张摄像头都可见,则选择清晰的那一张。

在这里插入图片描述

在这里插入图片描述

投影后:
在这里插入图片描述

在这里插入图片描述

时序预测修正
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

三、模块的启动方法和基础配置

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、感知模块启动视频演示

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我宿孤栈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值