什么是MIPI接口？MIPI相机是如何工作的？

什么是MIPI接口？MIPI相机是如何工作的？

MIPI接口是一种用于移动设备内部芯片间通信的标准化接口，全称为Mobile Industry Processor Interface（移动产业处理器接口）。它定义了物理层和数据传输协议，旨在优化功耗、提高数据传输速率，并减少移动设备的引脚数和电路板面积。

MIPI接口广泛应用于智能手机、平板电脑、可穿戴设备等移动设备的摄像头、显示屏、存储和其他外设与主处理器之间的连接。

MIPI相机的工作原理大致如下：

• 1. 数据传输：MIPI相机通过MIPI接口与主处理器（如应用处理器）进行数据传输。这个接口支持高速、低延迟的数据传输，确保相机捕获的图像和视频数据能够迅速且准确地传输到处理器进行处理。
• 2. 协议支持：MIPI接口支持多种协议，包括用于相机数据传输的CSI（Camera Serial Interface）和DSI（Display Serial Interface，虽然主要用于显示屏，但DSI的概念可以类比理解相机数据传输的协议需求）。对于相机而言，CSI协议是关键，它定义了相机传感器与处理器之间如何交换图像数据。
• 3. 物理层：MIPI接口的物理层定义了电气特性和物理连接。例如，D-PHY（Data-PHY）和C-PHY（Clock-PHY）是两种常见的物理层实现，它们分别优化了数据传输速率和功耗。在MIPI相机中，通常会选择适合相机数据传输需求的物理层。
• 4. 同步与控制：MIPI相机的工作还涉及同步信号和控制信号的传输。这些信号用于确保相机与处理器之间的同步操作，并允许处理器对相机进行配置和控制，如调整曝光时间、增益等参数。
• 5. 图像处理：处理器接收到来自MIPI相机的原始图像数据后，会进行一系列图像处理操作，如去噪、色彩校正、图像压缩等，以生成最终可供显示或存储的图像。

总之，MIPI接口为MIPI相机与主处理器之间的高效、可靠通信提供了基础。通过优化数据传输速率、功耗和物理连接等方面的设计，MIPI接口使得移动设备能够搭载更高性能的相机系统，从而提供更出色的拍照和录像体验。

嵌入式视觉在人工智能（AI）、物联网（IoT）以及其他基于新兴技术的应用中正迅速获得更多关注。因此，越来越多的公司正在寻求以成本效益高的方式将成像功能集成到他们的产品中。对于许多此类产品和应用来说，移动产业处理器接口（MIPI）是将摄像头与主机处理器连接的最流行和最便捷的方式之一。

在本博客中，我们将尝试深入了解MIPI接口以及MIPI相机的工作原理。

在我们深入探讨MIPI接口的优势以及MIPI相机的工作原理之前，让我们先简要回顾一下该接口是如何随着时间的推移而演变的。

MIPI接口的历史可以追溯到移动设备对更小尺寸、更低功耗和更高数据传输速率需求的不断增长。随着智能手机、平板电脑等设备的兴起，传统的并行接口因其高功耗和大量引脚而逐渐变得不再适用。因此，MIPI接口应运而生，它提供了一种高效、低功耗的串行通信方式，非常适合用于移动设备中的芯片间通信。

随着技术的不断发展，MIPI接口也经历了多次迭代和扩展，以支持更多类型的设备和应用。目前，MIPI接口已经广泛应用于摄像头、显示屏、存储等多种外设与主处理器之间的连接，成为移动设备中不可或缺的一部分。

在接下来的内容中，我们将详细介绍MIPI接口的优势、工作原理以及MIPI相机是如何工作的，以帮助您更好地理解和应用这一技术。

MIPI接口的演变

CSI-1

CSI-1是最初的MIPI接口架构标准，定义了摄像头与主机处理器之间的接口。

CSI-2

CSI-2于2005年发布，其第一个版本包含了一个分层协议，包括：

• 物理层（Physical Layer）
• 车道合并层（Lane Merger Layer）
• 低级协议层（Low-Level Protocol Layer）
• 像素到字节转换层（Pixel to Byte Conversion Layer）
• 应用层（Application Layer）

2017年，发布了CSI-2的第二个版本，支持RAW-16和RAW-20色彩深度。此外，它还可以将虚拟通道从4个增加到32个，并减少了延迟降低和传输效率（LRTE）。

2019年，发布了CSI-2的第三个版本，增加了对RAW-24色彩深度的支持。

CSI-3

MIPI CSI-3于2012年首次发布，随后在2014年发布了下一个版本。它为摄像头与主机之间的图像和视频传输提供了一种高速且双向的协议。

在这三种类型中，MIPI CSI-2是移动和远程应用中（如自动驾驶、无人机、智慧城市、医疗成像、计算机视觉等）最常用的接口。

关于MIPI CSI-2的更多信息

在上一节中，我们回顾了MIPI接口如何随着时间的推移而演变。现在，让我们更详细地了解一下MIPI CSI-2接口。

MIPI CSI-2常用于嵌入式视觉系统，它是一种摄像头接口，将图像传感器与嵌入式板卡连接起来，以控制和处理图像数据。这有助于传感器和嵌入式板卡作为一个相机系统协同工作来捕获图像。以下图片展示了使用MIPI CSI-2接口将嵌入式相机板卡连接到图像传感器的情况。

MIPI摄像头通过确保比旧的并行接口摄像头模块（又称数字视频端口DVP接口）具有更高的分辨率和帧率，从而提供更高的性能。

如今，许多工程师更倾向于选择MIPI CSI-2摄像头而非USB摄像头。尽管这两种摄像头各有优缺点，但让我们来看看MIPI摄像头相对于USB摄像头的一些主要优势。

为什么选择MIPI CSI-2而非USB？

理论上，USB接口的最大带宽为每秒5千兆比特。但在实际使用中，您可能只能达到每秒约3.6千兆比特的带宽。

这限制了用于多种应用的视觉系统快速传输图像数据以供各种处理和分析目的的能力。这正是CSI-2可以发挥更大作用的地方。它提供了每秒6千兆比特的最大带宽，并且在实际中可以达到每秒约5千兆比特的带宽。与USB中的通用接口相比，CSI-2还使过程更加高效和快速。

以下图片展示了MIPI CSI-2接口支持的最大带宽。

MIPI CSI-2接口支持高性能应用和高分辨率成像。它能够无缝传输1080p、4K和8K格式的图像和视频。它适用于单摄像头和多摄像头实现。MIPI CSI-2还为多个应用中的机器感知提供了更大的能力。

如果您想进一步了解MIPI摄像头与USB摄像头的比较，请查看“MIPI摄像头与USB摄像头的详细比较”。GMSL也是MIPI的一种替代方案，通常用于需要将图像和视频数据传输到3米以外距离的应用中。要了解GMSL摄像头与MIPI摄像头的区别，请访问“GMSL摄像头与MIPI摄像头的比较”。

MIPI CSI-2的性能亮点

以下是MIPI CSI-2接口的一些关键性能亮点：

• 它支持RAW-16或24色彩深度，提高了高动态范围（HDR）和信噪比（SNR），为自动驾驶汽车配备了先进的视觉能力。
• 它具备使用多达32个虚拟通道的能力，可容纳具有多种数据类型的图像传感器。这支持了高级驾驶辅助系统（ADAS）中的多曝光和多范围传感器融合。
• 延迟降低和传输效率（LRTE）促进了实时感知，并优化了传输，以减少电线的数量和功耗。
• 差分脉冲码调制（DPCM）压缩在降低带宽的同时，为视觉应用提供了无压缩伪影的SNR图像。

总的来说，MIPI摄像头非常适合高科技OEM嵌入式视觉系统。现在，让我们看看MIPI CSI-2摄像头在视觉系统中是如何工作的。

MIPI摄像头：工作原理

通常，视觉系统中的超紧凑板卡支持MIPI CSI-2，并与多种智能传感器解决方案配合使用。此外，它还与许多不同的CPU板卡兼容。

MIPI CSI-2通过MIPI D-PHY物理层与支持的应用处理器或系统级芯片（SoC）进行通信。它可以在两个物理层中的任何一个上实现：MIPI C-PHY® v2.0或MIPI D-PHY® v2.5。因此，其性能是可扩展的。

请查看下面的图片，以更好地了解MIPI CSI-2摄像头的工作原理：

在MIPI摄像头中，摄像头传感器捕获图像并将其传输到CSI-2主机。当图像被传输时，它会被放置在内存中作为单独的帧。每个帧都通过虚拟通道进行传输。然后，每个通道被分割成行——一次传输一行。因此，它允许从同一个图像传感器传输完整的图像，但使用多个像素流。

MIPI CSI-2使用包含数据格式和错误校正码（ECC）功能的数据包进行通信。单个数据包通过D-PHY层传输，然后分割成所需数量的数据通道。D-PHY以高速模式运行，并通过通道将数据包传输到接收器。

然后，CSI-2接收器使用D-PHY物理层来提取和解码数据包。从CSI-2设备到主机，该过程通过高效且低成本的实现逐帧重复。

MIPI CSI-2接口使集成变得更加容易，并为未来做好准备。MIPI摄像头模块可以与处理器（如NXP的i.MX8、i.MX7、i.MX6，NVIDIA的Jetson Nano™、Jetson Xavier™ NX、Jetson AGX Xavier™、Jetson™ TX2和Jetson™ TX2 NX）以及其他基于Linux/Windows/Android的系统进行接口连接。

如何为嵌入式视觉系统选择合适的接口？

从MIPI CSI-2、USB 3.0到GigE和GMSL，选择合适的摄像头接口可能会使您的嵌入式视觉应用程序的性能大获成功或功亏一篑。因此，请了解您需要知道的所有信息，以便为您的嵌入式视觉应用场景正确选择接口。

嵌入式视觉系统已经为具有前所未有功能的新应用带来了活力。从生命科学、制造业到体育转播，它们构成了许多行业关键功能的支柱——通过创新来满足不断变化的市场期望。评估嵌入式视觉系统有效性的两个基本标准是：

• 无缝且高质量的图像捕获
• 流畅且快速的图像处理

在设计嵌入式视觉系统时，选择合适的接口是一个关键时刻。接口在确定系统成功方面起着至关重要的作用，因为它负责将图像从摄像头传输到处理系统。简而言之，它是连接摄像头与处理平台进行图像处理的物理连接层。两个决定性的特性包括适当的吞吐量和合适的距离。接口还影响平台选择过程，因为每个接口都有其自身的接口限制。在本博客中，我们希望帮助您更好地了解如何为您的嵌入式视觉应用选择合适的接口。

嵌入式视觉系统有哪些类型的接口？

为了满足对高速连接日益增长的需求，市场上提供了各种灵活且功能强大的接口。一些在多个行业中广泛使用的最流行接口包括MIPI CSI-2、GMSL2、USB 3.0和GigE。

MIPI CSI-2

MIPI CSI-2是最常见的嵌入式视觉接口之一。尽管它是为移动设备开发的，但其300 MB/s的带宽使其非常适合高性能嵌入式视觉系统。MIPI CSI-2电缆的最大长度不到30厘米，这解决了涉及摄像头和处理系统之间距离差异较大的应用设计挑战。MIPI CSI-2具有四个图像数据通道，每个通道的速度都能达到1.5 Gb/s。MIPI CSI-2比USB 3.0更快。它是一种高效且可靠的协议，能够处理从1080p到8K及更高分辨率的视频。由于多核处理器的使用，MIPI CSI-2还减少了CPU的资源消耗。但在某些情况下，如果摄像头没有可用的驱动程序，则可能会产生额外的开发成本。

USB 3.0

USB 3.0接口的带宽远高于USB 2.0接口，最高可达360 MB/s。对于嵌入式视觉系统而言，USB 3.0可以轻松与USB3 Vision标准集成。USB 3.0的即插即用功能极大地降低了开发成本。此外，它还使嵌入式视觉设备能够轻松互换——便于更换损坏的摄像头。然而，USB具有较大的连接器和相当坚硬的线缆，这可能不适合某些紧凑的嵌入式视觉组件。大多数USB嵌入式视觉摄像头采用USB 3.1 Gen 1接口，以在摄像头和主机系统之间提供高达5Gibt/s的图像数据带宽。USB 3.1 Gen 1可以通过为嵌入式视觉摄像头提供高达4.5W的电力来简化系统设计。

MIPI和USB是嵌入式视觉系统中使用的两种最受欢迎的摄像头接口。

Gigabit Ethernet（GigE）

以太网接口，现在大多以Gigabit Ethernet（GigE）的形式实现，在带宽、电缆长度和多摄像头功能方面提供了最广泛的灵活性。该接口的数据传输速率最高可达120 mb/s，电缆最大长度可达100米，并可集成到所有图像处理应用中。GigE提供高达1Gbit/s的图像数据带宽，并配备有坚固的屏蔽功能。

GMSL

GMSL是一种多千兆位、点对点的连接技术，主要面向汽车领域。GMSL接口可以通过单根同轴电缆传输高速视频、双向控制数据和电力。GMSL摄像头可以通过同轴电缆放置在距离主机处理器15米远的地方，同时仍然支持低延迟和高帧率。GMSL支持多线程和聚合协议，如通过单个链路传输以太网和DisplayPort。

如何选择适合嵌入式视觉系统的接口？

上述接口使机器视觉摄像头能够通过广泛使用的USB和以太网标准与主机系统连接。选择合适的接口不仅取决于摄像头，还取决于目标应用和计算平台。在为嵌入式视觉系统选择合适的接口时，您应考虑带宽、电缆长度、成本、实施和使用的便捷性、电源以及所需的物理连接等关键因素。归根结底，这是关于选择最适合的解决方案，以帮助最大化您应用的投资回报率。

您的决策必须基于满足您的业务目标和客户期望，同时也要考虑您现有的技术生态系统。让我们来看看一些流行计算平台的理想接口解决方案：