baidu进阶训练笔记四20200722

无人车车辆自定位技术入门与应用

技术入门

1.无人车的自动定位系统

定义：相对一个坐标系，无人车的自定位系统知道汽车的位置和姿态

2.位置和姿态分别有三个自由度。

• 位置对应X，Y，Z，即相当于某个坐标系，汽车的平移是多少
• 姿态是三个方向的一个旋转，一般会用欧拉角来表示。包括横滚、俯仰和航向，分别相对于X，Y，Z三个坐标轴

如果本地坐标系已经定义好，车上的坐标系相对于本地坐标系的变化（即姿态的变化），可用本地坐标系的三个轴和相对坐标系的这三个轴之间的三个夹角表示。

除了位置和姿态这两个维度，自定位系统还要输出很多信息。除去速度、加速度和角速度外，自定位系统还需要对位置和姿态加上一个置信度，表示这次输出的定位结果好不好。

3.对于自动驾驶汽车，定位的指标要求大概分为三个部分：

• 精度：定位精度必须控制在10厘米以内，才能使行驶中的自动驾驶车辆避免出现碰撞/车道偏离的情况。
• 鲁棒性：鲁棒性一般情况下用最大值来衡量。也就是最大的误差不要超过30厘米。但是在有些时候，纵向误差稍微大一点点，只要没有偏离车道就没有太大影响。
• 场景：天气变化、环境

4.为什么无人车需要一个精准的定位系统？

无人车感知和决策本身的能力并没有达到像人类这样聪明的程度，所以需要定位和地图

速度、加速度、角速度灯信息用于路线规划及车辆控制

对于车来讲，速度信息来源于定位模块。定位模块告诉车辆现在的速度是多少。感知模块告知前面可能要开慢一点。控制模块接收到指令之后会控制车辆慢一点。

5.定位的方法大体上可以分为三个部分

• 基于电子信号的定位：基于电子信号的定位方法中最有特点的就是GNSS（全球导航卫星系统）。它的作用机制是通过一组卫星的伪距、星历、卫星发射时间等观测量，以及用户钟差，得知你现在大概的位置。
• 航迹的推算：航迹推算最有特点的就是IMU。航迹推算就是根据上一时刻“我“的”位置“和”姿态“，叠加一些测量信息可以知道现在的”位置“和”姿态“。IMU是一个惯性测量单元。它包含了加速度计和陀螺仪。加速度计会输出加速度的信息。但是不止加速度，它还包含重力加速度。陀螺仪是一个旋转，即是前面所讲到三个轴上的一个旋转。
• 环境特征的匹配：环境特征匹配相对较多，比如LiDAR的匹配。在建好了点云定位的地图，将LIDAR的数据和已建好的地图做匹配，以此来计算自己的位置。或者通过摄像头，知道了一些车道线，红绿灯的标志，然后确定自身的位置。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NiFuqzpx-1595414966933)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722173302520.png)]

6.差分技术分为物理差分和距离差分两种。距离差分又分为伪距差分和载波相位差分。

• 伪距差分的精度不会特别的高，大概在米级的这么一个量级，还不能满足要求。因此发展出实时动态的载波相位差分。
• 载波相位差分最主要的是要估计一个载波相位的一个整周，定位精确基本上是在厘米级（小于5厘米）。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F4fxLYFK-1595414966934)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722173417850.png)]

7.载波相位差分的缺点：

• 它需要硬件成本。比如基站的设置，人力的维护
• 它还需要对可视卫星的依赖。即在这个场景下面能看到的卫星是必须比较多的，否则就差分不出来误差
• 容易受到一些电磁环境的干扰。电磁环境不好会干扰精准度
• 如果在一下市中心楼宇比较多的地方，会引起一些多径效应，多次传播，计算出来距离的误差会很大

8.激光定位：

• 激光定位是预先制作一个地图，不管是3D的Voxel地图或者是点云地图，又或者是2D的概率地图
• 2D概率地图是把所有的这个点云数据铺到一块，压成了一个2D地图。2D地图分成很多小格子，每个格子里面存储了颜色信息，位置。位置上面可能只存Z的这个维度，因为2D地图有XY
• 还包括一些概率，概率和点云的数量以及分布相关。拿实时的激光点云和这个地图去做匹配。

9.视觉定位：

• 对于视觉定位，如果照明环境变化越大，例如这次跑过去的光照度和下次跑过去的光照度不一样，视觉所受到的影响就越大。

• 所以基于这种特征点的定位，比如SLAM里面用Relocalization并不是很合适用于车的视觉定位。因为下次可能检测不到那些特征，比如SIFT特征或者别的特征就会造成定位的失败。

• 但是有一些特征具有明显Semantic意义，比如车道线或者旁边立的这些柱子，红绿灯的柱子或者红绿灯本身或者一些Traffic Sign之类的，对于定位而言非常有用。

10.车道线检测：

• 需要先做好这种高精度地图，它里面包含车道线的信息，然后把每个线段两个端点拿出来。
• 在线去跑的时候，车上这个摄像头会用深度学习的方式检查出这些车道线。
• 车道线也是一段一段的，然后我们会去做匹配。匹配的方法有很多种。

惯性导航：

惯性导航是基于IMU的，里面包含有加速度计和陀螺仪。

• 加速度计会给提供瞬时的加速度，陀螺仪提供瞬时角速度。加速度计提供的不仅是加速度，还测量了重力加速度，所以用的时候需要先把重力加速度剔除掉。
• IMU的工作过程：首先是角速度通过积分后得到一个姿态，并把它应用到加速度上，对加速度积分得到速度，再得到最后的位置。
• 优点是可以得到一个六自由度的信息，不光是XYZ yaw，还有Roll和Pitch，是一个全量的信息。另外，它的短时精度非常高，比如十来万级别的设备
• IMU的出频率非常的高，基本上都是200赫兹以上，这样有助于同步。因为它有精准的时间戳，它检测的数据传输过来之后可以精准知道它的时间戳，有精准的时间戳就可以给出精准的位姿，即它在全局坐标系下有自己的位置
• 可以把它投到3D坐标系下，大家融合成一块
• IMU是一个很独立的一个设备，没有外部依赖，使用自己的输入就可以。但是缺点也很明显，例如十几万的设备也就坚持几百毫秒，对于自动驾驶汽车是远远不够的
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B89oJtak-1595414966937)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722174346112.png)]

11.多传感器融合定位——GNSS定位、激光定位、视觉定位还有惯性导航
(1)多传感器融合定位的核心是中间的卡尔曼滤波器，这是一个状态误差的卡尔曼滤波器。
(2)该滤波器接收惯性导航输出的递推，作为它的时间更新，保证滤波器往前走和高频的输出。还接受GPS、激光点云定位，或者是视觉定位的输出去做低频的状态更新。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vkOf3nKX-1595414966938)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722174612552.png)]

基础知识

1.三维几何变换——坐标系

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oxeZihdu-1595414966940)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722174823082.png)]

2.二维几何变换——二维旋转

在坐标系下面能够将一个点旋转到另一个位置

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ahANjIBt-1595414966941)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722175013017.png)]

3.三维几何变换——三维旋转

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ShkTv6tv-1595414966943)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722175146437.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RhhUrozE-1595414966945)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722175327302.png)]

旋转矩阵一般在优化过程中不会使用，四元数在优化过程中使用的非常多

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tznegfYG-1595414966946)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722175503123.png)]

4.平移

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fbIf442y-1595414966947)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722175638951.png)]

5.刚体位置和朝向

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zWZkbHud-1595414966950)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722175742409.png)]

6.定位时常用的坐标系

• 地心惯性坐标系（ECI）非常固定

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SEIJAxfJ-1595414966951)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722175903989.png)]

• 地心地固坐标系（ECEF）（大地坐标系）随地球转动而转动

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BDSVSuQq-1595414966953)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722180031967.png)]

• 当地水平坐标系（l系）只和经纬度有关

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yOCiNHKj-1595414966955)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722180150394.png)]

• 通用横轴墨卡托投影（UTM投影）平时做输出的坐标系

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QmuxA1TL-1595414966955)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722180420404.png)]

• 车体坐标系

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YnJR636G-1595414966958)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722180539604.png)]

• IMU坐标系

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OqNp7DQv-1595414966959)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722180712504.png)]

• 相机坐标系

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-27e6zDwv-1595414966961)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722180748345.png)]

• 激光雷达坐标系

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Jzijc0a8-1595414966962)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722180836643.png)]

总结：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4nJp2KCH-1595414966964)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722180921521.png)]

百度无人车定位技术

1.GNSS定位技术

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-t4FBxmsv-1595414966965)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722181504083.png)]

• GNSS定位技术中最著名的是GPS。GPS最早是由美国建立的，有24颗GPS卫星，两个频率的波段。GPS具有定位、测速、授时等功能

• 类似的系统还有北斗定位，俄罗斯的格罗纳斯和欧洲的伽利略定位。

• 原理:测距

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Og9OJnDp-1595414966967)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722181630389.png)]

• 误差来源

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Mi3xYSJR-1595414966968)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722181733674.png)]

2.载波定位技术

• 载波定位技术具体分为两类，RTK技术和PPP技术。它们都是为了确定载波的整周数，然后消除噪声，达到更精准的定位。

• RTK的工作原理如下：卫星把观测数据给基站，也给车端的移动站。基站根据多个卫星的钟差计算出误差项，然后把误差项传递给车端，车端用这个误差项消除观测误差，得到精准的位置。它的问题是硬件成本高，需要建基站，需要4G通信的链路，需要基站传数据。

• PPP可以简单理解为一个很强的单点，它有很多种基础基站的建设。这些基站通过卫星数据，把这些误差都在基站做分离处理，再传递给卫星。卫星已经做了误差的消除，再去对车端进行定位，得到一个非常高精度的定位信息。
  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Maqcbvyz-1595414966969)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722181847179.png)]

• RTK与PPP消除误差的方式：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gHwPHt3x-1595414966970)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722182031503.png)]

• GNSS在无人车中的作用

  • GPS授时
  • 制作高精地图
  • RTK在线定位，作为定位的一个模块使用

• GNSS的问题

  • 可靠性，很容易受到电磁环境干扰
  • 对于比较差的环境，比如城市的高楼、峡谷、林荫路，对GNSS影响都很大。

3.激光点云

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-udvdwCWg-1595414966971)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722182343798.png)]

• 图像对齐：主要是用于航向角的优化。点云定位里面会输出四个维度的信息，XYZ和Yaw（航向角）。

• SSD HF：其次是SSD-HF做XY优化，Z则由定位地图提供。定位地图是一种数据的的存储方式。激光点云定位的输入还包括预测位姿和实时点云数据。输出信息将会给融合算法，进行更加精确的定位。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ft4J62k0-1595414966972)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722182651985.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SPv0TJeK-1595414966973)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722182723198.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QQaAMuFy-1595414966974)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722183008577.png)]

红色代表响应比较好

绿色代表过度

蓝色代表概率比较低

4.视觉定位技术

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fYnZgpXT-1595414966976)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722183236761.png)]

视觉定位的输出也是XYZ和Yaw，即位置和朝向。视觉定位通过摄像头识别图像中具有语义信息的稳定特征并与地图做匹配，得到位置和朝向信息。

• 视觉定位的流程：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TRSjmsFJ-1595414966976)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722183331704.png)]

• 视觉定位的流程主要包含三个部分
  • 3D特征地图的离线的生成
  • 图像特征的检测
  • 数据的整合输出

首先是摄像头进行图像特征的检测，主要是进行车道线和杆状物的检测。通过GPS给出的初始位置，基于初始位置对3D地图和摄像头检查到的信息进行特征匹配。用IMU和轮速计去做姿势的预测，给出一个不错的姿势。最后的结果输出给融合模块，融合可以将GPS、视觉定位、IMU数据整合，优化定位结果并提供高频输出。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8Xs6uHo8-1595414966977)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722183534893.png)]

5.捷联惯性导航系统

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gjBYIoT5-1595414966978)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722183805152.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-InWSENkT-1595414966979)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722183847732.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3fJD8nlz-1595414966981)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722183919128.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yU2Qzgkw-1595414966982)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722184000320.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CSzowEMe-1595414966983)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722184126383.png)]

比力，位置->速度->姿态

6.组合导航系统

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NHSSI27D-1595414966984)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722184255510.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0xf1sCPN-1595414966985)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722184358968.png)]

核心是：卡尔曼滤波递推结算的步骤

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-o1V56UAq-1595414966987)(C:\Users\xiaomeiyan\AppData\Roaming\Typora\typora-user-images\image-20200722184658896.png)]