在自动驾驶领域，如何实现激光雷达和相机的时间同步呢？

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

刚好最近在研究车上多传感器时间同步的问题，车上一般传感器包括：camera，Radar, Lidar, gnss,rtk,组合导航，轮速计等等。那么常见的传感器间时间同步主要涉及到camera, radar, lidar, imu等。对于如何实现传感器的时间同步，以及时间同步一般包括哪些内容，可能需要从以下几个方面考虑：

1）统一时钟源

图1  统一时钟源示意图

由于每个传感器都有自己的时间戳，这里 统一时钟就是来同步不同传感器时间戳的。如果传感器支持硬件触发的情况下，可以采用GPS时间戳作为基准进行硬件触发，这时传感器给出的数据中包含的时间戳即为全局时间戳（GPS时间戳）而非传感器时间戳。

2）硬件同步触发传感器

图2 硬件同步触发示意图

另外，由于每种传感器的采样频率不一致，如lidar通常为10Hz，camera通常为25/30Hz，不同传感器之间的数据传输还存在一定的延迟，那么可以通过寻找相邻时间戳的方法找到最近邻帧，但如果两个时间戳相差较大，且传感器或障碍物又在运动，那么最终会得到较大的同步误差。这个情况可以采用硬同步触发的方法来缓解查找时间戳造成的误差现象，也可以调整传感器的固有频率，如将相机调整为20Hz，减少时间差问题。

3）各种传感器的时间戳

a) GPS/GNSS时间戳：

GPS时间指的是GPS原子时，是以UTC时间1980年1月6日0时0分0秒为时间基准，以后按照TAI秒长累计计时。

b) 相机时间戳

自动驾驶上使用rolling   shutter相机是支持外部触发曝光的，但由于相机帧周期包括曝光时间和readout时间（整帧像素点读出），所以需要关注曝光时间，对于相同cmos芯片的相机，其readout时间是固定的，来反推图像真实时间戳（一般采用曝光中间时间）。

c) 激光雷达时间戳

d) 毫米波雷达时间戳

e) IMU时间戳

4）传感器间时间软同步

最后整体了解下车端传感器时间硬件同步的一个接线图，如下：

这个图中激光雷达和相机时硬件时间同步一个示例，因为激光雷达支持两种时间同步方法，而相机一般只是支持外部触发，一般采用基于GPS的时间同步机制。激光雷达采用的是基于IEEE   1588的以太网时间同步机制。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~