SerDes camera简介

为什么需要SerDes

随着手机和自动驾驶汽车的普及，摄像头的应用在过去5到10年中一直在上升。随着图像处理技术的长足进步，高端嵌入式视觉相机被开发出来，并广泛用于边缘AI，机器人、智能交通系统、自动购物系统，监控系统等各种现代嵌入式设备。

这些系统依靠高质量的图像和视频数据进行机器学习和深度学习算法（在边缘运行）来得出各种推理并做出决策。这些设备中通常数据量是巨大的，并且需要一种数据传输方法来长距离（通常超过 3 到 5 米）传输大量数据。

而大多数常用的相机接口，如USB、MIPI、GigE等，都不足以执行这项任务。 MIPI 和 USB 实际上无法采集超过 3 米的数据，而 GigE 在带宽方面存在限制。
这个几种接口要么传输距离不够，要么带宽不够。
这时候SerDes（串行器/解串器）技术就派上用场了，简单讲就是他能满足长距离和高带宽这两个需求。

传统传输方式

传统摄像头的数字信号一般通过USB或网线传输到主机。例如安防类的摄像头，一般通过网线连接到中央控制器，因为网线可以方便地实现多路并网（每路只需要分配一个IP地址即可），但缺点是容易丢帧（网络丢包），而且带宽不高，例如千兆网线的带宽在100-1000Mbps。有些安防摄像头也是用HD-TVI的传输方式，该方式的稳定性比网线高，但受制于模拟信号的抗干扰性，其带宽也不能达到很高（100Mbps），因此无法传输较高分辨率的图像。

USB摄像头大多数使用USB2.0协议，传输带宽在480Mbps，直接通过USB数据线连接到电脑，其优点是即插即用，无需复杂的驱动，但缺点是连接不稳定，容易断开，传输带宽也比较低。

手机类的摄像头，通常使用mipi传输。mipi是一种高速的并行信号，其优点是支持高带宽数据传输（例如4.8Gbps），缺点是信号容易受到干扰，传输距离不长。

SerDes

SerSes是串行器和解串器的简写，顾名思义是一种将并行数据转换成串行数据发送，将接收的串行数据转换成并行数据的”器件“。

camera常用的接口是MIPI高速接口，MIPI的传输距离受限，传输距离过大容易导致信号质量不佳，影响图像数据的传输，所以经常会使用到serdes，以增加传输距离，在车载领域更加常见。

车载摄像头示例，其中ser解串器是集成在模组内部：

下图是max96717解串器架构示意，一个解串器可以连接多路串行器

单路连接：

多路连接:

SerDes接口的优点之一是，除了视频数据外，它还可以传输控制数据。这使得相机同步的过程无缝衔接。

上图中的i2c接口通常用于传输控制信号，比如上下电信号，同步信号等。解串器内部的GPIO也可以用于传输控制信号。
从前面我们可以知道，解串器一端是连接串行器，而且可以连接多个解串器组成多条链路，,这些链路对于解串器而言是输入，我们可以称之为link。解串器的另一端通常是连接到SOC，可以理解为输出到SOC, 输出端口可以称之为port，每个port内部还可以继续抽象出多个vc虚拟通道。一个解串器可以连接多个camera，通常我们称连在同一个解串器上的camera称为一个camera group。

SerDes数据传输方法的其他一些优点包括：

1. 可实现最高 25 米的高带宽长距离传输（大多数接口可达 15 米。但是，有一些像 GMSL1 这样的可以将数据传输到 25 米）

2. 它专为汽车行业设计，符合任何形式的工业用途所需的所有质量标准，使接口和电缆能够抵抗冲击、振动、温度变化等。

3. SerDes 接口的传输速率超过 3.5 Gbps（有些可高达 10 Gbps），这使其适用于最现代的嵌入式视觉应用。

MIPI

MIPI全称Mobile Industry Processor Interface，即移动产业处理器接口。MIPI联盟在2003年由ARM, Nokia, ST ,TI等公司成立，成员包括手机设备制造商、半导体厂商、软件厂商、系统供应商、外围设备制造商、知识产权提供商、其他公司。联盟成立的目的是把手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化，从而减少手机设计的复杂程度和增加设计灵活性。MIPI并不是一个单一的接口或协议，而是包含了一套协议或标准，以满足手机内不同子系统的独特需求，如摄像头接口CSI、显示接口DSI、射频接口DigRF、麦克风/喇叭接口SLIMbus等。统一接口标准的好处是手机厂商根据需要可以从市面上灵活选择不同的芯片和模组，更改设计和功能时更加快捷方便。
MIPI CSI-2 通常用于嵌入式视觉系统，是一种摄像头接口，用于将图像传感器与嵌入式板连接起来，以控制和处理图像数据。这有助于传感器和嵌入式板共同充当摄像头系统来捕获图像。下图表示使用 MIPI CSI-2 接口连接到图像传感器的嵌入式摄像头板。

MIPI摄像头和显示接口在ADAS和信息娱乐应用中实现，如图2所示。在当今的汽车中，安装了多个摄像头（前部、后部和两侧），以创建驾驶员周围环境的 360 度视图。在这种实现中，MIPI CSI-2 图像传感器连接到图像信号处理器，然后图像信号处理器连接到一个桥接器，该桥接器允许整个模块连接到汽车中的主系统。在某些情况下，车载信息娱乐系统使用 DSI 来启用使用相同实现的显示界面。

使用串行解串器连接多个摄像头模组到SOC的示意图

GMSL（千兆多媒体串行链路）

GMSL是Maxim Integrated的一系列SerDes接口。它包括第一代（GMSL1）、第二代（GMSL2）和第三代（GMSL3）接口，其中GMSL3是性能最先进的一种。然而，这可能有点矫枉过正，GMSL2 对于大多数现代基于摄像头的应用来说已经足够了。

GMSL2（截至目前三代产品中采用最广泛的一种）已被定位为汽车行业的接口。然而，与 FPD Link III 一样，GMSL2 相机可用于大多数需要（高带宽）长距离传输的嵌入式视觉应用，例如机器人、自动驾驶汽车、大型卡车、采矿车辆、自动购物系统等。