来自 : https://www.bilibili.com/video/BV1JY4y1R7Be/
- 多传感器融合的需求
- 多传感器硬件系统构建
- 多传感器硬件系统的时序闭环
1. 多传感器融合的需求
自动驾驶用来解决的问题:
- 建图定位、感知问题(路上有什么、堵不堵、好不好走…)、规划控制问题
自动驾驶的传感器:
- 激光雷达 (LiDAR)
- 相机 (Camera)
- 毫米波雷达 (Radar, Radop Detection And Ranging,milimeter wave Radar)
- 超声波雷达 (ultrasonic Radar)
- 全球卫星定位系统 (GNSS) RTK (差分定位技术 Real-Time Kinematic)
- 惯性传感器 (IMU)
- 轮速计 (Wheel Speedometer)
- …
传感器分类:
运动感知类: GNSS RTK IMU 轮速计 LiDAR Camera ,最后两种实际感知环境的,也能感知自己的运动
解决建图定位问题。
环境感知类:激光雷达、相机、毫米波雷达、超声波雷达
解决感知问题。
为什么解决一个问题需要这么多传感器?
需求侧分析:
天气分析:晴天、雨天、雾天、雪天、阴天、…
光照分析:白天、黄昏、黑夜、阳光直射、背光…
距离分析:盲区(0-2m)、近距离(2-40m)、中距离(40-80m)、远距离(80-200)、超远距离(200+)
维度和精度:六自由度观测、速度|加速度|角速度
系统级要求:无漏检、无误检、时间误差小于10ms 位置误差小于30cm…![]()
供给侧分析: (各类传感器各有优劣)
![]()
2. 多传感器硬件系统的构建
2.1 感知多传感器分析
![](https://i-blog.csdnimg.cn/blog_migrate/9a5eb3ca9ab5ec480e0dabeedb2d5154.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2eb5cab241c2b0651f57869ac9381372.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2a344c8549abc1eed50cc367cf04fa4c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2c4b154fa6583587f60cc61e8fcdb491.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1eadc5eede3d9b0497211dffa9c84cbb.png)
Camera
![](https://i-blog.csdnimg.cn/blog_migrate/8b5e45c645860b470e623064ca5303f8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/02dfcf2952b67417dfa1d08a71876726.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9ca9288521b52edad8a3c8ec5dedb3c4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/9bd555a5deef66b947a8d97ab12c373f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/54a7a2a57921a746e9071c6e9a1cd7ee.png)
![](https://i-blog.csdnimg.cn/blog_migrate/17b6c5fc3948624cd4bdf345409be8eb.png)
LiDAR
![](https://i-blog.csdnimg.cn/blog_migrate/43d19e5372940956b6e3e2df905d1469.png)
![](https://i-blog.csdnimg.cn/blog_migrate/42eb2875e14c85f59ef61cf8a6040328.png)
![](https://i-blog.csdnimg.cn/blog_migrate/840268cd02f397b459ce9fdb18833b7a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bf82d9a15f060ca6e16e44b073c13c93.png)
![](https://i-blog.csdnimg.cn/blog_migrate/08afbc1bd04cfedb1c1009447262d6e2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0d33195baf31d85a27b9d5b478d96eb5.png)
Radar
![](https://i-blog.csdnimg.cn/blog_migrate/ae83759f0649ddc7b123a7a3e7be1b85.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7071eef1470bae59e416924436347014.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3177b9165603c062de4be025e7a7ca4e.png)
![](https://i-blog.csdnimg.cn/blog_migrate/bdd8bbc64a45a1251eb0f8adf6ebc990.png)
![](https://i-blog.csdnimg.cn/blog_migrate/22e979f2ef82962e879dcac0a011ebc4.png)
![](https://i-blog.csdnimg.cn/blog_migrate/34186538c6eaaad6943d01029fec5380.png)
![](https://i-blog.csdnimg.cn/blog_migrate/094d852e05af6b305b44079cb8c0aafe.png)
超声波雷达
![](https://i-blog.csdnimg.cn/blog_migrate/5ed87954e4fea1f2e8185019dd3efc0f.png)
只能测距 不能定位
![](https://i-blog.csdnimg.cn/blog_migrate/28b33d0ab4e5c59346dce09bca140097.png)
![](https://i-blog.csdnimg.cn/blog_migrate/7d1d7f0471871fc0bd46561335483292.png)
![](https://i-blog.csdnimg.cn/blog_migrate/17f4179c11f17e613ae11ac0ec5f06f3.png)
2.2 建图定位多传感器简介
![](https://i-blog.csdnimg.cn/blog_migrate/b68bbff096f21433eec7b982bcc0ced6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/dbee96e25decad328ac583e2a79acab3.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c91d7bf43f71e02e94c5418f31204d14.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f14d9ac5a44ae033a1e54e62bbbefbd4.png)
2.3 整车传感器系统设计
![](https://i-blog.csdnimg.cn/blog_migrate/edb0b0962e5dc2aa21e1b4eac3795cf7.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2353d05eb3ecfebb37749b3f3a4783a9.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a7f2b1ae55da1fa85810099611a7db4c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8c0f9b93a386f62ab373c1f405d3b379.png)
![](https://i-blog.csdnimg.cn/blog_migrate/2f5d9b908d49d80fcb7ff6034071b0bf.png)
3. 多传感器系统的时序闭环
3.1 传感器时钟闭环构建
循环的保持时间一致
![](https://i-blog.csdnimg.cn/blog_migrate/d2c5c0484a307bbc059210bdf025f8d6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e9e6499b6a8ddd733883ddcb606d42fa.png)
![](https://i-blog.csdnimg.cn/blog_migrate/792e1734b0d1e882b2a731a901aefdd8.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0fc67f3e3bab147c4846fc05e91c27cc.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5a232dc643c78e1cf78046a739dfc9e6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/55469e69660ae938c1f9b3759fb75d49.png)
3.2 成像同步机制
![](https://i-blog.csdnimg.cn/blog_migrate/c13b373b4ddfc13a635186d1319e5cdd.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c52c34121dcacca4707060fe8340ac8d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/80eb9e9158c912d7ce6de81e8d8dbb92.png)