Nvidia Orin/Jetson +GMSL/RLINC/VbyOne/FPDLink 同轴AI多相机同步车载视觉解决方案

在本次演讲中，介绍了多相机同步技术在自主机器中的应用情况，围绕无人配送小车、控制器视觉传感器方案升级、人形机器人三个典型案例中如何为客户提供高效的多相机同步解决方案进行了详细的讲解，并进一步介绍如何通过创新的多相机同步技术，来满足自主机器的多相机组合感知、不同相机数据精准同步的需求。

多相机在无人配送小车的应用

无人配送小车作为典型的L4自动驾驶场景，常用NVIDIA Jetson Orin平台作为核心计算处理器，需要同时处理激光、摄像头、GPS、IMU等多种传感器信息，从而进行自主导航、识别信号灯、避开障碍。

在无人车的应用中，对不同功能的相机要求不同，比如红绿灯相机需要能够识别红绿灯，因此对相机分辨率HDR AWB的要求非常高，需要它能在不同的光线环境下准确还原红绿灯的轮廓和颜色；感知相机用于车辆四周环境的识别，对于HDR对比度清晰度要求会比较高；环视相机用于平行驾驶，不仅要求能够清晰看清车辆四周的环境，而且还需要在晚上也能够清晰成像来保障24小时运行，因此对相机的低照度要求非常高。

为了提升感知算法的准确率，基于NVIDIA Jetson自动驾驶控制器通过精准的授时技术，完成整个系统的时间同步，对多路相机实现同步曝光。

工业机器人控制器解决方案升级

随着AI的发展，工业机器人在进行算法升级时，需要同时接入多路相机，并且要求摄像头进行同步曝光，能够完成物品的拍摄、识别、抓取等作业过程。

由于传统的工业机器人大多使用USB摄像头或者以太网摄像头，因此无法实现摄像头的同步曝光。为了解决以上问题，基于NVIDIA Jetson Orin平台提供一整套多相机同步解决方案。

首先，通过同轴相机（比如GMSL/RLINC/VbyOne/FPDLink）将多路相机接入Jetson Orin控制器，Jetson Orin通过触发方式实现多个摄像头的精准同步曝光，然后Jetson Orin在对多路摄像头的数据进行拼接等预处理之后，用相同的接口接入到工业机器人的主控中。

这样不仅可以实现多相机同时具备边缘算力，还可以通过Jetson Orin的处理多相机同步，来解决原来USB相机无法实现的精准同步曝光问题。

多传感器在人形机器人上的应用

人形机器人作为当下的热点，它也是一种典型的高依赖相机作为感知/识别的自主机器，机器人要实现自主工作，需要对周边的环境、目标进行精确感知，这就需要高度依赖摄像头。

常见的人形机器人相机布置方案大致：头部布置一个双目相机，类似人的眼睛；在胸前和胸后各布置两个相机，覆盖机器人前后的视野；在关节的相机可以起到补盲的效果，能够更好的满足目标识别等作业过程。

另外，人形机器人在工作过程中需要对复杂场景进行感知，为了满足目标的精确定位需要计算深度信息，因此要求不同的摄像头需要严格同步。

总结来看，人形机器人相机需要具备长距离传输、高稳定性传输、多相机时间同步等特点，而采用基于NVIDIA Jetson平台加上多路数字同轴相机（比如GMSL/RLINC/VbyOne/FPDLink）的同步技术，能够很好地满足机器视觉应用的需求。

基于NVIDIA  Jetson Orin推出系列产品

作为全球领先的成像感知产品和服务供应商，自创立以来专注于成像和视觉技术，通过打造优秀的摄像头模组和解决方案，为智能驾驶、无人驾驶、自主机器、车路协同等领域提供一流的服务。

NVIDIA的合作由来已久，目前已经基于NVIDIA Jetson Orin平台推出了同轴相机（比如GMSL/RLINC/VbyOne/FPDLink）、MIPI相机、EVS仿生事件相机等一系列开发套件。