基于ZYNQ的CameraLink图像采集与边缘检测开发详解

1.案例说明

1. PL端接入CameraLink相机，通过Base模式采集图像（1280*1024），然后通过VDMA缓存到PS端DDR。
2. 使用AXI4-Stream Switch IP核将图像复分成两路，一路用于边缘检测处理（Sobel算法），另一路直接回显。
3. 利用Video Mixer IP核将图像叠加，通过HDMI输出原始图像或者算法处理后的图像。本案例支持CameraLink Base/Full模式、彩色/黑白相机。

此开发详解基于创龙ZYNQ Z-7045/Z-7100评估板TLZ7xH-EVM展开。

 

2.案例框图

 

3.申请IP核license

本开发案例使用的Video Mixer和Chroma Resampler IP核，需要到官网下载IP核免费license，否则将无法通过TcL脚本生成Vivado工程。

请参照创龙TLZ7xH-EVM评估板（ZYNQ Z-7045/Z-7100）用户手册《Xilinx Vivado 2017.4及License安装教程》文档，导入IP核。

 

成功导入后，点击View License Status可以查看新添加的IP核license如下图。

 

 

4.Vivado工程说明

参照创龙TLZ7xH-EVM评估板（ZYNQ Z-7045/Z-7100）《基于TcL脚本生成Vivado工程及编译》文档，使用TcL脚本生成Vivado工程。

（1）生成评估板TLZ7xH-EVM、ZYNQ型号为xc7z100的Vivado工程：

Vivado# vivado -mode batch -source tl_cameralink_edge_display_project.tcl  -tclargs tlz7xh-evm  xc7z100ffg900-2

（2）生成评估板TLZ7xH-EVM、ZYNQ型号为xc7z045的Vivado工程：

Vivado# vivado -mode batch -source tl_cameralink_display_project.tcl  -tclargs tlz7xh-evm  xc7z045ffg900-2

进入Vivado工程所在的runs路径，双击.xpr文件打开工程。

 

点击"IP INTEGRATOR -> Open Block Design"，打开Vivado工程如下图所示。

 

Base模式

点击Address Editor选项，可以看到IP核分配的地址，在PS端可以通过配置这些地址（寄存器）来控制IP核。

 

5.案例演示

实验硬件说明

CameraLink相机参考型号：

1. 彩色RS-A5241-CC107-S00，支持Full/Base，分辨率2560*2048，帧率107Hz
2. 黑白RS-A5241-CM107-S00，支持Full/Base，分辨率2560*2048，帧率107Hz

参考下表和图将相机接到评估板CameraLink接口，显示器接到HDMI OUT接口。

 

模式	接口（相机-评估板）
Base	CL0-CON18

 

Base模式

 

基于Linux系统测试

评估板上电启动进入文件系统，执行如下指令新建一个"/lib/firmware"文件夹。将由Vivado工程编译生成的xxx.bin文件传送到评估板文件系统的"/lib/firmware/"目录下，并重命名为system_wrapper.bin。

参考创龙TLZ7xH-EVM评估板（Z-7045/Z-7100）用户手册《生成PL设备树及动态加载PL程序和设备树》文档，生成设备树，然后将编译好的dtbo文件拷贝到文件系统"lib/firmware"目录下。

Target# mkdir -p /lib/firmware/

 

 

HDMI OUT芯片接的是PS端的I2C，需要加载PS端设备树，加载成功后如下图所示。

Target# mkdir /configfs

Target# mount -t configfs configfs /configfs

Target# mkdir /configfs/device-tree/overlays/full

Target# echo -n zynq-zc706-overlay.dtbo >  /configfs/device-tree/overlays/full/path

 

再加载PL端程序和设备树。可以看到AXI UART对应的节点为/dev/ttyUL1。

Target# mkdir /configfs/device-tree/overlays/cameralink

Target# echo -n "pl.dtbo" > /configfs/device-tree/overlays/cameralink/path

 

 

将例程image目录下的脚本拷贝到文件系统，执行脚本进行配置，即可在显示器看到相机采集的视频。

Target# ./camera_init.sh base //初始化CameraLink相机

 

Base模式

 

脚本说明：

 

Target# ./sil9022_i2c_1080p.sh //初始化HDMI OUT

Target# ./axi_vdma_cameralink.sh //初始化VDMA

Target# ./switch_video.sh 1 //配置AXI4-Stream Switch IP核，参数1为原始图像

Target# ./mixer_init.sh 1 //初始化Video Mixer IP核，参数1为原始图像

 

 

 

Target# ./sobel_filter_init.sh //初始化Image_filter IP核

Target# ./mixer_init.sh 2 && ./switch_video.sh 2 //切换到算法处理后的图像

 

 

对于RS-A5241的相机，Base模式下，1280*1024的分辨率状态下，图像帧率有120+帧，所以图像曝光短，图像较暗，增大Image_filter IP的阈值可以获得更好的效果。

Target# devmem 0x43c000b4 w 0xff //设置高阈值为0xff

Target# devmem 0x43c000bc w 0xa0 //设置低阈值为0xa0

 

 

设置颜色反转：

Target# devmem 0x43c000c4 w 1  //0xc4寄存器设置为1，边缘为白色，若为0；边缘为黑色