baidu进阶训练笔记五20200723

高精地图

高精地图与自动驾驶的关系

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tFWSZ0MG-1595503764428)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200723164932768.png)]

• L0级别是人类驾驶，L1到L3级别是辅助驾驶，L3以上是自动驾驶
• 在L1—L3辅助驾驶级别，常见的很多车型都已经配备其中的一些功能，比如偏离预警、碰撞预警和自适应巡航等
• L3级别以上的自动驾驶研发是现在Apollo正在做的事情，百度内部本身分L3和L4
• L3级别基本上已达到一定程度上的自动驾驶，它不需要车辆驾驶员来关注环境，只需要在紧急情况下接管；L4级别则可在限定区域下完全做到自动驾驶
• L5级别可能是比较遥远的状态。现在有些厂商宣称L5级别自动驾驶可以做到完全没有人员操控，车辆能处理所有的情况

什么是高精地图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W807uYgx-1595503764439)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200723165339568.png)]

• 用于L3、L4级别自动驾驶的高精地图，对整个道路的描述更加准确、清晰和全面。高精地图除了传统地图的道路级别，还有道路之间的连接关系，专业术语叫Link
• 高精地图的特征：
  • 最主要的特征是需要描述车道、车道的边界线、道路上各种交通设施和人行横道。它把所有东西、所有人能看到的影响交通驾驶行为的特性全部表述出来。
  • 实时性。实时性是非常关键的指标，因为自动驾驶完全依赖于车辆对于周围环境的处理，如果实时性达不到要求，可能在车辆行驶过程中会有各种各样的问题及危险。

高精地图与导航地图

• 电子导航地图的表述形式倾向“有向图”结构，把道路抽象成一条条的边，各边连通关系构成整体上的有向图。这类似百度地图、高德地图、谷歌地图的做法

• 导航地图只是给驾驶员提方向性的引导。识别标志标牌、入口复杂情况、行人等都是由驾驶员来完成，地图只是引导作用。导航地图是根据人的行为习惯来设计的

• 高精地图完全为机器设计的。因为对于道路的各种情况、人都能理解，但是对于车辆来说它完全不理解。

高精度图与其他模块的关系

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3Prjru9p-1595503764450)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200723165833535.png)]

高精地图可以作为自动驾驶的大脑。大脑里面最主要是地图、感知、定位、预测、规划、安全。综合处理成自动驾驶车辆能接受的外部信息，并统一运行在实时的操作系统上

车上配备的传感器类似于人的感知系统，用来感知外部环境；自动驾驶车辆会把感知的结果通过高精地图处理后发送给控制系统

高精地图与定位模块的关系

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zgHPRDRd-1595503764461)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200723170038676.png)]

主流的自动驾驶的定位方案有两种：一种是基于点云，另一种是基于Camera。其本身都是一种对周围环境的感知。感知后是Feature提取，提取之后可以通过特征匹配最终得到精确结果。

自动驾驶车辆在路口“看”到建筑物，然后通过激光雷达能搜到点云的信息，通过点云的特征提取，然后通过复杂的组合变换、视角变换，最终通过跟周围环境的比对能得到比较准确的定位坐标。

高精地图里面由定位提供的Feature有很多，例如电线杆、车道线、停止线和人行横道等都能提供很多的约束信息。

64线激光雷达号称有一百米的检测距离。但实践中超过60米之后，点云本身已非常稀疏，60米外检测的可信度会继续下降。

Camera的局限更大，在夜间、逆光的情况下很难达到非常好的视觉效果

Radar的穿透能力很强，但精度不高

所以基于这些传感器本身的局限性，高精地图能够提供非常大的帮助。

在高精地图里提前标注红绿灯的三维空间位置后，感知模块就可以提前做针对性检测。这样做不仅可以减少感知模块的工作量，而且可以解决Deep Learning 的部分缺陷。识别可能会有些误差，但先验之后可提高识别率。

高精地图与规划、预测、决策模块

• 规划模块完成的工作主要有两个

  • A点到B点的长距离规划
  • 短距离规划

• 自动驾驶车辆在行驶过程中面临动态环境。其中包括道路交通的参与者，比如其他车辆和行人。我们要根据障碍物的实时位置及时地做局部规划

• 有了以上两个层面的规划之后，还需要预测。预测模块的作用是把其他道路参与者的可能行驶的路径轨迹和行动预测出来

  • 决策模块主要是根据规划和预测的结果决定自动驾驶车辆是跟车、超车还是在红绿灯灯前停下等决策
  • 控制模块是把决策结果分解为一系列的控制行动，然后分发给控制模块执行。

• 预测的体系比较复杂，但底层仍依赖于高精地图

高精地图与安全模块

• 无人车可能受到的四个维度的攻击：
  • 针对传感器的攻击
  • 针对操作系统的攻击
  • 针对控制系统的攻击
  • 针对通讯系统的攻击

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZFDIfQqY-1595503764469)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200723171341261.png)]

高精地图能提供离线的标准信息。比如说，激光雷达在场景中扫描到物体，通过与高精地图中的信息进行对比匹配。如果结果不一致，我们可以大概率地认为此地有问题，这就是通过多传感器的融合来解决安全问题

高精地图与仿真系统

百度的仿真系统主要是基于高精地图/真实场景来构建。仿真场景回放后，和真实上路的实际情况相比，可以基本保证Gap不会很大

高精地图为仿真地图提供了最底层的基础结构，能让仿真系统更好的去模拟真实道路的场景

高精地图的作用

没有高精地图的高可靠性，L3/L4自动驾驶无法落地。

静态的Perception

把人类对于世界的感知和理解赋予自动驾驶系统

机器理解不了，可以把人理解的经验赋予给驾驶系统，相当于把人的经验传授给它。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-06RGfPTb-1595503764479)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200723172127496.png)]

弥补系统性缺陷

扩展传感器检测边界，解决系统性能问题

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VBfMbOmW-1595503764489)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200723172333939.png)]

自动驾驶需要非常复杂的计算系统，4G的传输速度并不能满足现阶段自动驾驶的海量数据传输需求

高精地图告诉感知/控制模块，在你的双向通行的车道中有栅栏隔离，对向车道的车不可能过来，系统就可以放弃检测对向车道上的障碍物，有效地降低系统负担

传感器有局限，但高精地图给自动驾驶提供了超视觉、超过传感器边界的远距离感知

高精地图的采集与生产

高精地图采集——传感器

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-J6qoShDo-1595503764497)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200723172911786.png)]

常用的传感器

• GPS

  • 空旷的地带很好用
  • 城市环境高楼遮挡下定位偏差大

• IMU

  • 能够保持长时间计算的精度
  • 在丢失GPS信号的情况下，维持准确的时间比较短

• 轮速计

  • 地面、车型不同导致不准确

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Fxb8q4LG-1595503764503)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200723173400910.png)]

• 激光雷达
  • 精度非常高
  • 信息非常少

高精地图生产

计算模型

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ojDQtQTC-1595503764506)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200723173547113.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bglzmwP2-1595503764511)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200723173649818.png)]

视觉制作

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ftqG2cwN-1595503764514)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200723173806671.png)]

• 两种主流的制图方案：
  • 基于激光雷达的
    • 融合激光雷达和点云，既能利用图像中丰富的语义信息、颜色信息，又能非常准确
  • 基于camera的

激光雷达与camera结合，生成非常好的高精地图

• 英伟达的方案：通过在线实时检测，实时生成高精地图

• 宽凳、DeepMotion的方案：纯视觉制图，精度达能做到厘米级

高精地图的格式规范

NDS

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fmMreNZC-1595503764517)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200723174621684.png)]

POI点就是地图上的一个点

支持局部更新、功能全面、分块

OpenDRIVE

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5wSF1LWy-1595503764521)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200723174938663.png)]

• 国际上比较通用的规范

• Apollo也是采用这个

• 分为Section的概念（道路属性变化、虚实线变化）

• Reference Line，基于Reference Line,ID 向左递增、向右递减

• Junction—路口，包含虚拟路（红色线—主要是用来链接可通行方向的）

• ST——tracking坐标系

  • S是车道的Reference Line的起点的偏移量
  • T是基于Reference Line的横向、纵向偏移量

• 所有车道线的描述都是基于Reference Line的偏移量