【相机方案】智能驾驶的域控采用的“串行器和解串器”方案的总结（持续更新），SerDes，GMSL

SerDes是Serializer/Deserializer的缩写，即串行器和解串器。由于同轴线的传输延迟几乎可以忽略不计（ns级别），相当于将原来只能短距离传输的高速并行信号(MIPI/I2C/CLK等)的传输距离延长，真正做到高带宽、低延迟、长距离的数据传输。

• SerDes的串行-解串可以通过数模电路或者FPGA来实现。
• 在商用领域，出于性价比的考量，往往会使用独立IC芯片来实现这个功能，GMSL是SerDes的一种。GMSL就是由Maxim公司开发的一系列串行-解串芯片的集合。
• GMSL适用于视频、音频和控制信号的传输，使用50Ω同轴电缆或100Ω屏蔽双绞线电缆，传输距离可达15m或更长。目前基于GMSL架构的通信协议最高可实现单通道6Gbps的速率（参考USB3.0仅有2.5Gbps）

产品发展

GMSL技术经历了很长的发展时间，第一代的GMSL从2003年开始，最高支持3Gbps的传输速率，足够传输1百万-3百万像素（1080p/30fps）的视频流数据。从2017年之后，GMSL2代技术出现，传输带宽已经提升至6Gbps，可轻松传输8百万像素（4K/30fps）的视频流数据。

Maxim目前同时提供两代的GMSL产品，分别是GMSL1以及GMSL2，其中部分GMSL2产品兼容GMSL1。目前常见的GMSL串行-解串芯片如表1所示。其中兼容GMSL1/2的器件，既可以接入GMSL1也可以接入GMSL2。例如：

a) MAX9296解串器，既可以接入MAX96701（GMSL1）也可以接入MAX96717（GMSL2）；

b) MAX9295A串行器，既可以接入MAX9286（GMSL1），也可以接入MAX96712（GMSL2）；

	串行器	解串器
GMSL1	MAX96701/MAX96715	MAX9286
	12bit DVP IN 1 SIO OUT@1.76Gbps	4IN 1OUT@MIPI 1.5Gbps
GMSL1/2 兼容	MAX9295A	MAX9296	MAX96722
	4-MIPI IN 1 SIO OUT@6Gbps	2IN 2OUT@MIPI 2.5Gbps	4IN 1OUT@MIPI 2.5Gbps
GMSL2	MAX96717/MAX96717F	MAX96712
	4-MIPI IN 1 SIO OUT@6Gbps/3Gbps	4IN 1OUT@MIPI 2.5Gbps

1 Jetson Xavier平台

以Jetson Xavier为代表的Arm架构下的SoC系统，通常没有直接的GMSL接口，而是提供MIPI信号接口，因此需要通过外挂解串板的方式来实现，以下方的配置为例介绍。

硬件连接方式如图4所示，摄像头包含Sensor（IMX390）和串行器（MAX9295），两路摄像头通过GMSL Link同轴线（Coax Cable）连接到转接板（MAX9296 Deserializer Board），转接板再通过排线（MIPI White Cable）接入到Jetson Xavier开发板的CSI Port。

硬件架构如图5所示：

• Sensor（IMX390）接口为MIPI-CSI，数据格式为1080p/30fps/RAW12
• 每路摄像头搭配1个MAX9295串行器（Serializer）
• 两路GMSL Link共同连接到解串器MAX9296
• MAX9296解串器接入到Jetson的CSI port（以Port A为例）

驱动层的结构如图6所示，驱动最上层是v4l2的架构，是Linux系统下的通用相机驱动框架。中间层是sensor驱动，用于控制视频流的开关、设置图像参数等。最底层是MAX9295/9296的驱动，负责拉通数据链路。

Sensor驱动程序会在设备启动（Device boot）的时候，配置串行器-解串器的参数，建立起数据链路（data streaming pipeline）。一旦数据链路建立起来后，就可以分别对串行器、解串器、Sensor配置寄存器参数，控制它们的工作模式，或进行数据流的开关操作等。

2 PC电脑/工控机

PC/工控机主要运行在x86平台，这类系统通常接口有：USB/以太网/PCIE等。USB3.0的传输带宽在1Gbps – 2.5Gbps左右，以太网的带宽在100Mbps – 1000Mbps之间，PCIE的带宽高于10Gbps。

如表2所示，1M（100万像素） - 8M（8百万像素）摄像头的数据传输带宽在655Mbps – 4.4Gbps。从带宽的限制来看，USB3.0最高只能支持到2M，以太网最高支持到1M，只有PCIE可以满足所有的传输需求。

像素	传输带宽	USB3.0	Ethernet （以太网）	PCIE
1M	655Mbps	√	√	√
2M	1.3Gbps	√	×	√
8M	4.4Gbps	×	×	√

表2 不同接口的传输带宽

PCIE 其工作原理如下：

1. 摄像头（Sensor+Serdes）的图像数据通过GMSL同轴连接线传输到采集卡的解串芯片（DeSerdes, MAX9296）上

2. 解串芯片将数据通过MIPI/IIC传输到FPGA，FPGA解析数据流

3. FPGA通过PCIE将数据存放至DDR4内存中

4. 调用SDK获取内存数据

3 DRIVE Xavier

https://docs.nvidia.com/drive/driveworks-3.5/supported_sensors.html

使用 Entron 的F001A100BM0A，这是侧向2MP的相机

4 TDA4 GMSL1 自主域控 MAX9286与MAX96705

5 寒武纪行歌 SD5223C 开发板 max96712

GMSL1方案： 3Gbps
串行器解串器max96705和max96712，gms1通信，HIM参数的互相之间的设置；

GMSL2方案： 6Gbps

6 orin

https://developer.nvidia.cn/drive/ecosystem-orin

2MP
AR0233 H100 RAW 数量：4

8MP
AR0820 H120Y RAW 数量：2
AR0820 H30 RAW 数量：1

参考

https://zhuanlan.zhihu.com/p/497871767?utm_id=0
http://www.360doc.com/content/23/1122/19/40892371_1104930953.shtml