baidu进阶训练笔记十五20200802

百度Apollo感知介绍（一）

感知概貌

感知是机器人学科的问题，机器人要做的即是像人类学习，但不是完全模仿，应做到扬长避短

机器开车与人开车在感知上的一个区别

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-95HNq3IT-1596364040507)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200802170745790.png)]

• 获取信息的区别

  • 人类驾驶员开车主要借助眼睛、耳朵，辅助以倒车影像和雷达来获取驾驶环境的信息。机器感知系统则根据各种各样的传感器来获取汽车周围的驾驶环境，包括Lidar，Camera，Radar，超声波雷达以及拾音器等。相对人类而言，机器感知是全覆盖，并且感知精度更高，能够达到厘米级别，但是机器感知在语义感知方面相差太大。

• 地图定位的区别，

  • 人类驾驶员主要依靠导航地图，或者依据交通指示牌进行路径规划和导航。机器感知系统则依赖高精地图。高精地图和导航地图的最大差别是有参考线，汽车需要根据参考线进行行驶，而人很大程度上是根据经验驾驶

• 输出信息的比较

  • 人类驾驶员的感知信息输出主要是大脑输出
    • 一是道路信息，包括车道线位置，是左转还是右转车道，是否限速，实线还是虚线等
    • 第二是动态障碍物信息，主要包括障碍物位置、类别、形状大小、相对速度、行为意图等。除此之外，人还需要通过眼睛感知交通信号灯的状态。无人车感知的信息输出主要是各个传感器的数据，固定目标更多的是依赖高精地图，减少在线识别。

• 道路信息通常以高精地图作为参考。障碍物信息通常使用障碍物检测技术获取，包括检测障碍物的位置（3D位置）、类别、形状以及障碍物跟踪。此外还需要根据不同的传感器数据进行传感器融合获得更精确的感知，保证安全驾驶。

• 当前无人车感知主要通过摄像头来获取交通信号灯的颜色，灯的语义信息可以由地图提前标注好，长远的目标是通过V2X实现交通信号灯的感知。

• 相对人类驾驶而言，无人车系统为机器做了很多的工作，把固定信息都嵌入到地图里面，在线识别只针对最小集进行处理，以保证系统的高效和鲁棒性。无人车感知的缺点是强烈依赖高精地图。

多维度分析感知

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jTVaXAyw-1596364040510)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200802174447086.png)]

• 小感知：

  • 检测
  • 语义分割
  • 属性识别
  • 跟踪
  • 融合

• 大感知

  • 标定
  • 定位
  • 障碍物行为检测

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6bv30CRJ-1596364040511)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200802174713656.png)]

感知模块的维度可以根据划分目标而不同，这里给出一种感知模块的维度划分案例，包括以下6个维度：

• 第一个维度是传感器维度，也称之为输入。主要有Lidar，Camera，Radar，Ultrasonic高精地图等
• 第二个维度是输出。主要包括障碍物，车道线和道路边界，红绿灯等。
• 第三个是问题空间维度。例如感知模块中涉及的一些算法或者要处理的问题，包括2D算法，3D算法（高度、距离、朝向角）。按照时间可以分为静态帧检测和时序处理等
• 第四个维度是机器视觉维度，分为高语义和低语义问题，例如模型计算和几何计算。
• 第五个维度是机器学习维度，分为深度学习驱动的感知和通过先验知识进行启发式设计的方法，称之为后处理。
• 最后一个维度是系统维度，包括硬件和软件，以及软硬件一体化。在无人车系统里，感知的硬件显得更为重要，软件需要同步于硬件。

传感器和标定-1

配置硬件

• 激光雷达

  • 激光雷达的测距原理是激光头发射光束，打到障碍物上反射回来，到接收器接收到之反射信号的时间间隔乘以光速再除以二得到障碍物的距离，叫做TOF（Time of flight，飞行时间测距法）
  • 优点：自带光源不受外界干扰，白天晚上都可以，而且测距准确度高（厘米级的精度）
  • 缺点是多线激光雷达扫描还比较稀疏，尤其是当障碍物距离比较远的时候，因此，激光雷达目前并不适合做识别任务
  • 激光雷达需要发射激光，功率限制其不能发射很远，发射太远反弹回来的信号就会很弱。目前，64线激光雷达的感知距离只有60~70米，对于高速行驶的无人车还不够

• Camera

  • 相机是最像人的一个传感器。它是被动式的，接受自然可见光的反射最后成像，受光照影响很大，白天的算法在晚上使用，开路灯和不开路灯的对感知结果影响很大，所以对算法研发挑战很大。
  • 优点：可以稠密感知，比如说现在的1080p图像，可以感知所有细节。另外通过配置焦距，相机可以感知很远距离的物体，例如可以看到几百米外的物体。
  • 缺点：单目相机测距不准，无法做到激光雷达厘米级的测距精度。

• Radar毫米波

  • 毫米波雷达的原理和激光类似，只不过发射的是毫米波。由于它也是主动式感知设备，不太受天气、光照的影响。同时毫米波雷达还有多普勒频移效应可以测量与障碍物之间的相对速度。
  • 优点:测距、测速比较准
  • 缺点:噪点很多，例如在空旷的地方反馈很多的回波，实际可能是路面的反馈信号而不是障碍物。其次它对于非金属的反射信号比较弱，召回比较低，例如在它面前走过行人有可能漏掉。最后毫米波雷达也是稀疏感知，无法做识别任务。

• 除了以上三种常见的传感器，还有一些用的相对少的传感方法，例如毫米波、超声波，高精地图，Image-Lidar。

• 毫米波比较粗糙

• 超声波的感知距离有限，对金属感知距离3米左右，对非金属只有1~2米。此外它的发射头是扇形的，扇形之外无法感知。

• 高精地图是先把静态元素储存好做成先验知识。它的优点是可以无差错的精确感知，减轻现场感知负担和依赖，其缺点是加重了整个系统对高精度地图和高精度定位的依赖。

• Image-Lidar同时集结了激光和图像的好处，接收器同时对可见光、激光都有响应

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fnBAhF2s-1596364040514)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200802175405908.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UXE8lLbx-1596364040516)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200802175525487.png)]

（自动驾驶汽车的传感器安装示意图）

• 首先需要对车辆建立，可以由厂家提供CAD模型，在真正安装之前，需要在软件环境里面放传感器，考虑以下因素对传感器的安装位置做出最合适的决定。
• 第一是障碍物遮挡情况，这就是为什么很多无人驾驶车的传感器安装在车顶的原因。
• 第二是方便传感器融合。传感器的融合需要不同传感器在视野上有重叠，否则很难进行传感器融合。

传感器的安装还需要从整车的角度考虑，需要考虑安全，稳定，风阻，美观和清洗等因素

传感器和标定-2

标定的目的

• 在选好、安装完传感器之后，需要对传感器进行标定
• 标定的核心概念是得到传感器之间的相对位置，将不同传感器的数据在同一个坐标系中表示。
• 标定分为内参标定和外参标定。
• 内参是传感器自身性质，有些是厂家提供，有些需要自行标注，例如Camera焦距的定期矫正，Lidar中各激光管的垂直朝向角。
• 外参是传感器之间的相对位置和朝向，一般由6个自由度表示，自由度的旋转矩阵和自由度的水平位移。

传感器标定算法

• Lidar内参标定：相对于摄像头，激光雷达的内参标定有一定的特殊性。
• Lidar-to-GPS外参标定：计算出Lidar与车上GPS的相对位置。GPS的位置由世界坐标系中的3D点表示，因此计算出外参之后可以计算得到Lidar在世界坐标系中的位置。
• Lidar-to-Lidar外参标定：计算不同Lidar之间的相对位置。
• Lidar-to-Camera外参标定：计算Lidar和相机之间的相对位置。
• Camera-to-Camera外参标定：计算不同相机之间的相对位置。
• 自然场景中的Lidar-to-Camera外参标定：在自然环境中，驾驶车辆进行两种不同传感器之间的位置关系求解。
• 自然场景中的Bifocal Camera外参标定：双焦点摄像头之间外参的计算，也是就是不同焦点的相对位置。
• Camera-to-Radar外参标定：摄像机到毫米波雷达的外参计算。

基于标定间的多Lidar-Camera标定

在空旷房间的墙面贴满不同的二维码，然后在标定间中间放置一个基于激光雷达的毫米级高精度Rigel激光扫描仪，通过对墙上二维码的多次扫描，完成3D建模，获得了标定间任何一个点的3D位置。根据建模结果输出一个查找表，查找表由两栏组成，第一栏是Tag_ID，表示各个二维码的ID编号，第二栏是二维码四个角的3D位置信息。之后即可在标定间进行不同传感器的参数标定。