基于MIPI的高性能成像系统

使用 Ultrascal+ 高效实现具有图像处理 IP 核的图像处理流水线系统。

本项目用到的品台

硬件组件

Digilent Genesys ZU  × 1 （FPGA平台） Digilent PCAM5 × 1 （MIPI摄像头）

软件组件

AMD-Xilinx Vivado 设计套件

介绍

从简单的嵌入式视觉到自动驾驶汽车和无人机，图像处理是许多应用的核心。Xilinx MPSoC 具有内置的 DisplayPort（DP） 功能，并在可编程逻辑 IO 中支持 MIPI DPhy，从这两方面看，这是一个出色的嵌入式视觉平台。

同时使用人工智能和机器学习功能使我们能够创建一个复杂的嵌入式视觉处理系统。

在这个项目中，我们将探索使用 PCAM（FMC扩展板） 和 Display Port 建立和运行图像处理。然后，我们可以添加图像处理 IP 内核以进一步展示FPGA的处理图像的能力。

可编程逻辑设计（PL端设计）

在我们的设计中，我们将包括以下 IP

• Zynq MPSoC Processing System - 启用 DisplayPort、I2C 和 GPIO EMIO

• MIPI CSI2 RX Sub System - 从 PCAM 接收 MIPI CSI2 流。

• Sensor Demosaic - 将 RAW 像素格式转换为 RGB 像素格式。

• Gamma LUT - gamma图像校正

• VDMA - 将映像写入PS中的 DDR 内存

• Video Timing Generator - 生成输出视频时序

• AXIS to Video Out - 从 AXI 流转换为视频流

• Clock Wizards - 用于生成视频像素时钟和 MIPI CSI2 参考时钟

除了 IP，我们还需要考虑时钟架构，对于这个解决方案，我们设计了以下时钟树：

• AXI 时钟 - 150 MHz - 这为 AXI Stream 和 AXI lite 接口提供时钟

• DPHY 参考时钟 - 200 MHz - 由Clock Wizards生成

• Pixel Clock - 74.25 Mhz - 用于 1280 x 720 60 FPS - 由Clock Wizards生成

完成的框图应如下所示，内核配置如下所示。

为了控制和配置 PCAM5（FMC-MIPI扩展板），我们使用 I2C 和 GPIO，GPIO 信号用于启用 PCAM5 并为其供电。而 I2C 用于配置 PCAM5 本身。

我们可以使用EMIO GPIO将处理器 GPIO 扩展到可编程逻辑。虽然 I2C 由 PS IIC0 提供，但是我们需要在应用程序软件中配置器启用。

要启用 MPSoC 中的显示端口，我们需要在 I/O 配置页面下配置 DisplayPort 外设。硬件上使用了  Bank 505 的MGT。

我们还需要配置通过 EMIO 连接到 PL 的辅助引脚。这意味着我们需要以不同于 PS 中的 MIO 的方式处理它们，辅助输出使能引脚低电平有效，因此我们需要在使用 EMIO 时对信号使用反相器。

配置好 DisplayPort 后，我们就可以启用 PL 的实时视频输入。这在 PS-PL 配置下可用。

最后配置是设置 GPIO 以提供一个 1 位的 EMIO，这样我们就可以打开和关闭 PCAM5。

Sensor将通过 I2C 进行配置，最后通过两个 MIPI 通道以 280 Mbps 的数据速率输出 10 位 RAW 视频。

因此，我们需要配置 MIPI CSI-2 RX 子系统

由于我们只有一个 MIPI 接口，我们将配置 MIPI 内核以包含所有共享逻辑。如果我们在同一个 bank 上有多个 MIPI 接口，则下一个 MIPI 接口将被配置为使用示例设计中的共享逻辑。

MIPI 接口的最终设置是为 MIPI 通道和时钟选择 IO bank 和引脚分配。正如我们在这里定义的那样，我们不需要将它们添加到定义引脚位置的 XDC 文件中。

创建可用图像的下一步是转换原始图像，其中包含有关每个像素一个颜色通道的信息。

在包含红色、绿色和蓝色元素的图像中，这称为去拜耳化，由 Sensor Demosaic IP 块实现。

对于我们的应用程序，PCAM5 将以以下格式输出像素 BGBG/GRGR

绿色是红色和蓝色的两倍，因为我们的眼睛对绿色更敏感，如果可见光谱位于中间，则绿色比位于两端的红色和蓝色更敏感。

处理的下一步是实现Gamma校正 IP 内核

最后一个阶段是插入一个VDMA，这将使视频数据能够从 PS DDR 写入到内存中。

为了向显示端口提供输出视频的时序，我们在发生器模式下使用VTC。

最后阶段是 AXIS 到视频输出 IP，这将采用视频时序控制器、时序信号和 AXI 视频流来创建具有正确时序的输出视频。

其输出将连接到显示端口视频实时输入。

这需要一点思考，实时视频输入具有 36 位视频输入，像素的每个元素为 12 位。我们正在使用每个元素 10 位，这使其整体为 30 位。

通过填充 LSB，到视频输出的 AXIS 流将按比例放大输出块，从每像素 30 位到每像素 36 位。

确保 AXIS 到 Video Out IP 内核输出的颜色通道与 DisplayPort 实时视频输入正确对齐。最简单的方法是在 AXI Stream 中使用 AXIS 子集转换器根据需要切换颜色通道。

为了帮助调试和理解设计，我还在设计中包含了几个集成逻辑分析仪。

随着设计的完成，我们现在可以构建硬件设计并使用 SDK 实现软件应用程序。

软件开发

完成硬件设计后，下一步是编写将在可编程逻辑中配置 IP 的软件。此配置将允许他们通过视频，可以显示在 DisplayPort 监视器上。

因此，我们的应用软件将执行以下步骤

1. 配置 GPIO 并启用 PCAM5 电源

1. 将 Video Mode 1280 x 720 设置为 60 FPS 并配置VTC

3）配置VDMA帧大小和内存存储

1. 配置 Senso Demosaic

1. 配置伽玛校正

1. 使用 I2C 链路配置 PCAM5

1. 启用从 VDMA 读取和写入帧缓冲区

1. 设置显示端口

就像我们处理其他项目一样，我们需要导入硬件规范、创建应用程序和 BSP。

为了能够在显示端口上使用实时视频源，我们需要首先更新 BSP 设置并重新生成它。

在 BSP 设置中将 avbuf 更改为 dppsu 并等待 BSP 重新生成。

正确配置 BSP 后