FPGA高端项目：FPGA实现SDI视频编解码+图像缩放 工程解决方案，提供3套工程源码和技术支持

FPGA高端项目：FPGA实现SDI视频编解码+图像缩放 工程解决方案，提供3套工程源码和技术支持

1、前言

目前FPGA实现SDI视频编解码有两种方案：一是使用专用编解码芯片，比如典型的接收器GS2971，发送器GS2972，优点是简单，比如GS2971接收器直接将SDI解码为并行的YCrCb422，GS2972发送器直接将并行的YCrCb422编码为SDI视频，缺点是成本较高，可以百度一下GS2971和GS2972的价格；另一种方案是使用FPGA逻辑资源部实现SDI编解码，利用Xilinx系列FPGA的GTP/GTX资源实现解串，利用Xilinx系列FPGA的SMPTE SDI资源实现SDI编解码，优点是合理利用了FPGA资源，GTP/GTX资源不用白不用，缺点是操作难度大一些，对FPGA开发者的技术水平要求较高。有意思的是，这两种方案在本博这里都有对应的解决方案，包括硬件的FPGA开发板、工程源码等等。

本设计基于Xilinx的Kintex7-325T中端FPGA开发板实现SDI视频编解码+图像缩放，输入源为一个HD-SDI相机，也可以使用SD-SDI或者3G-SDI相机，因为本设计是三种SDI视频自适应的；同轴的SDI视频通过同轴线连接到FPGA开发板的BNC座子，然后同轴视频经过板载的Gv8601a芯片实现单端转差分和均衡EQ的功能；然后差分SDI视频信号进入FPGA内部的GTX高速资源，实现数据高速串行到并行的转换，本博称之为解串；解串后的并行视频再送入Xilinx系列FPGA特有的SMPTE SD/HD/3G SDI IP核，进行SDI视频解码操作并输出BT1120视频，至此，SDI视频解码操作已经完成，可以进行常规的图像处理操作了；本设计的目的是图像缩放后输出解码的SDI视频；针对目前市面上的主流项目需求，本博设计了两种输出方式，一种是HDMI输出，另一种是SDI输出，这两种方式都需要对解码BT1120视频进行转RGB、图像缩放、图像缓存操作；本设计使用BT1120转RGB模块实现视频格式转换；使用本博常用的纯verilog代码实现的图像缩放架构实现SDI的图像缩放操作，将原始的1920x1080分辨率的SDI视频缩小为960x540，当然，读者也可以缩放为其他分辨率；使用本博常用的FDMA图像缓存架构实现图像3帧缓存，缓存介质为板载的DDR3；图像从DDR3读出后，进入HDMI发送模块输出HDMI显示器，这是HDMI输出方式；或者经过RGB转BT1120模块实现视频格式转换，然后视频进入SMPTE SD/HD/3G SDI IP核，进行SDI视频编码操作并输出SDI视频，再经过FPGA内部的GTX高速资源，实现并行数据到高速串行的转换，本博称之为串化，差分高速信号再进入板载的Gv8500芯片实现差分转单端和驱动增强的功能，SDI视频通过FPGA开发板的BNC座子输出，通过同轴线连接到SDI转SDI盒子连接到HDMI显示器，这是SDI输出方式；本博客提供3套工程源码，具体如下：

现对上述三套工程源码做如下解释，方便读者理解：
工程源码1：
输入视频为HD-SDI相机，输入分辨率为1920x1080@30Hz，经过GTX解串+SMPTE SDI解码+BT1120转RGB+图像缩放+图像缓存+HDMI输出模块后，以HDMI接口方式输出，输出分辨率为960x540@60Hz；适用于SDI图像缩放转HDMI的项目需求；

工程源码2：
输入视频为HD-SDI相机，输入分辨率为1920x1080@30Hz，经过GTX解串+SMPTE SDI解码+BT1120转RGB+图像缩放+图像缓存+RGB转BT1120+SMPTE SDI编码+GTX串化，以SDI接口方式输出，输出分辨率为1280x720@60Hz，这是HD-SDI模式；适用于图像缩放转SDI的项目需求；

工程源码3：
输入视频为HD-SDI相机，输入分辨率为1920x1080@30Hz，经过GTX解串+SMPTE SDI解码+BT1120转RGB+图像缩放+图像缓存+RGB转BT1120+SMPTE SDI编码+GTX串化，以SDI接口方式输出，输出分辨率为960x540@60Hz，这是3G-SDI模式；适用于SDI图像缩放转SDI的项目需求；

SDI视频编解码–>成套工程解决方案

提供成套工程解决方案如下：
1、提供FPGA开发板一套；
2、提供SDI相机一套；
3、提供上述的工程源码；
4、提供后续无限期技术支持；
该套方案可快速实现相关项目的落地实施、原型机验证、基础发开、自研自学等。。。

本文详细描述了Xilinx的Kintex7-325T中端FPGA开发板实现SDI视频编解码+图像缩放，工程代码编译通过后上板调试验证，可直接项目移植，适用于在校学生做毕业设计、研究生项目开发，也适用于在职工程师做项目开发，可应用于医疗、军工等行业的数字成像和图像传输领域；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；
关于MIPI协议，请自行搜索，csdn就有很多大佬讲得很详细，我就不多写这块了；

特别注意

本工程源码必须配合特定的FPGA开发板才能使用，因为工程源码对FPGA GTX电路有特殊且严格的要求，本博提供已经调试运行成功且稳定的FPGA开发板，也就是本工程源码运行的开发板，本博可提供该开发板给您，配合本工程源码直接跑起来，起飞。。。该开发板基本信息如下：
核心板配置：
FPGA型号：Xilinx–Kintex7–xc7k325tffg676-2；
内存：DDR3 16Gb，型号为K4B1G1646G-BCK0；
FLASH：QSPI FLASH，128Mb，型号为W25Q128FVSG；
底板配置：
1路10/100M/1000M以太网RJ-45接口，PHY为B50610；
2路SFP高速光纤接口，连接GTX，但路最高速率达12Gb/s；
1路HDMI输入，解码芯片为IT6802，最高支持1080p@60Hz；
1路HDMI输出，采用FPGA TMDS电平 IO输出，最高支持1080p@60Hz；
2路SDI输入接口，连接到GTX，支持SD/HD/3G/6G SDI；
2路SDI输出接口，连接到GTX，支持SD/HD/3G/6G SDI；
1路音频输出接口，采用TLV320AIC3104编码芯片；
1路SATA HOST接口；
1路USB2.0接口，采用Cypress CY7C68013A USB2.0控制器芯片；
1路串口，采用Silicon Labs CP2104GM芯片；
1路PCIe x4接口，直连GTX；
40针2.54mm间距的扩展口；
LED、按键等常规器件若干；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等)，若大佬们觉得有所冒犯，请私信批评教育；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

本博已有的 SDI 编解码方案

我的博客主页开设有SDI视频专栏，里面全是FPGA编解码SDI的工程源码及博客介绍；既有基于GS2971/GS2972的SDI编解码，也有基于GTP/GTX资源的SDI编解码；既有HD-SDI、3G-SDI，也有6G-SDI、12G-SDI等；专栏地址链接：点击直接前往

本方案的SDI解码+HDMI/SDI输出应用

SDI视频解码后，可以以HDMI方式输出，也可以以SDI方式输出或者其他，本应用就是解决这个问题，本应用高度符合项目需求，提供3套工程源码，具体如下：

上述所有工程源码均已上板调试通过，详细设计说明请参考我之前的博客，博客链接如下：
点击之前前往

本方案的SDI图像缩放+视频拼接应用

SDI视频解码后，可以进行多种图像处理，本应用就是图像缩放+视频拼接，有的项目需要对SDI图像进行缩放拼接，本应用高度符合项目需求，提供8套工程源码，具体如下：

上述所有工程源码均已上板调试通过，详细设计说明请参考我之前的博客，博客链接如下：
点击之前前往

本方案的SDI图像缩放+UDP网络视频发送应用

SDI视频解码后，可以进行多种图像处理，本应用就是图像缩放+UDP视频发送，有的项目需要对SDI图像进行网络传输，本应用高度符合项目需求，提供1套工程源码，具体如下：

上述所有工程源码均已上板调试通过，详细设计说明请参考我之前的博客，博客链接如下：
点击之前前往

本方案的SDI视频编码输出应用

有些项目不需要SDI视频解码，只需要SDI编码输出，比如SDI相机，本应用就针对此类项目，将其他视频转换为SDI视频发送出去，提供10套工程源码，具体如下：

上述所有工程源码均已上板调试通过，上述所有工程源码均已上板调试通过，详细设计说明请参考我之前的博客，博客链接如下：
点击之前前往

本方案的SDI视频编码图像缩放+视频拼接输出应用

有些项目不需要SDI视频解码，只需要SDI编码输出，另加一些图像处理的应用，比如SDI相机，本应用就针对此类项目，将其他视频进行图像缩放+视频拼接后转换为SDI视频发送出去，提供8套工程源码，具体如下：

上述所有工程源码均已上板调试通过，详细设计说明请参考我之前的博客，博客链接如下：
点击之前前往

本方案的SDI视频编码SFP光口收发应用

有些项目不需要SDI视频解码，只需要SDI编码输出，但对SDI视频输出方式有要求，比如要用GT高速接口的SFP光口收发，本方案就是解决此类项目，提供1套工程源码，具体如下：

FPGA的SDI视频编解码项目培训

基于目前市面上FPGA的SDI视频编解码项目培训较少的特点，本博专门开设了FPGA的SDI视频编解码高级项目培训班，专门培训SDI视频的编解码，具体培训计划细节如下：
1、我发你上述共计31套工程源码和对应的工程设计文档网盘链接，你保存下载，作为培训的核心资料；
2、你根据自己的实际情况安装好对应的开发环境，然后对着设计文档进行浅层次的学习；
3、遇到不懂的随时问我，包括代码、职业规划、就业咨询、人生规划、战略规划等等；
4、每周末进行一次腾讯会议，我会检查你的学习情况和面对面沟通交流；
5、你可以移植代码到你自己的FPGA开发板上跑，如果你没有板子，你根据你自己的需求修改代码后，编译工程，把bit发我，我帮你下载到我的板子上验证；或者你可以买我的开发板；

3、详细设计方案

设计原理框图

SDI图像缩放转HDMI输出的设计原理框图如下：

SDI图像缩放转SDI输出的设计原理框图如下：

SDI 相机

我用到的是SDI相机为HD-SDI相机，输出分辨率为1920x1080@30Hz，本工程对SDI相机的选择要求范围很宽，可以是SD-SDI、HD-SDI、3G-SDI，因为很设计对这三种SDI视频是自动识别并自适应的；如果你的手里没有SDI相机，也可以去某宝买HDMI转SDI盒子，一百多块钱就可以搞定，使用笔记本电脑模拟视频源，用HDMI线连接HDMI转SDI盒子，输出SDI视频做事视频源，可以模拟SDI相机；

Gv8601a 均衡器

Gv8601a芯片实现单端转差分和均衡EQ的功能，这里选用Gv8601a是因为借鉴了了Xilinx官方的方案，当然也可以用其他型号器件。Gv8601a均衡器原理图如下：

GTX 解串与串化

本设计使用Xilinx特有的GTX高速信号处理资源实现SDI差分视频信号的解串与串化，对于SDI视频接收而言，GTX起到解串的作用，即将输入的高速串行的差分信号解为并行的数字信号；对于SDI视频发送而言，GTX起到串化的作用，即将输入的并行的数字信号串化为高速串行的差分信号；GTX的使用一般需要例化GTX IP核，通过vivado的UI界面进行配置，但本设计需要对SD-SDI、HD-SDI、3G-SDI视频进行自动识别和自适应处理，所以需要使得GTX具有动态改变线速率的功能，该功能可通过DRP接口配置，也可通过GTX的rate接口配置，所以不能使用vivado的UI界面进行配置，而是直接例化GTX的GTXE2_CHANNEL和GTXE2_COMMON源语直接使用GTX资源；此外，为了动态配置GTX线速率，还需要GTX控制模块，该模块参考了Xilinx的官方设计方案，具有动态监测SDI模式，动态配置DRP等功能；该方案参考了Xilinx官方的设计；GTX 解串与串化模块代码架构如下：

SMPTE SD/HD/3G SDI IP核

SMPTE SD/HD/3G SDI IP核是Xilinx系列FPGA特有的用于SDI视频编解码的IP，该IP配置使用非常简单，vivado的UI界面如下：

SMPTE SD/HD/3G SDI IP核必须与GTX配合才能使用，对于SDI视频接收而言，该IP接收来自于GTX的数据，然后将SDI视频解码为BT1120视频输出，对于SDI视频发送而言，该IP接收来自于用户侧的的BT1120视频数据，然后将BT1120视频编码为SDI视频输出；该方案参考了Xilinx官方的设计；SMPTE SD/HD/3G SDI IP核代码架构如下：

BT1120转RGB

BT1120转RGB模块的作用是将SMPTE SD/HD/3G SDI IP核解码输出的BT1120视频转换为RGB888视频，它由BT1120转CEA861模块、YUV422转YUV444模块、YUV444转RGB888三个模块组成，该方案参考了Xilinx官方的设计；BT1120转RGB模块代码架构如下：

图像缩放模块详解

图像缩放模块功能框图如下，由跨时钟FIFO、插值+RAM阵列构成，跨时钟FIFO的目的是解决跨时钟域的问题，比如从低分辨率视频放大到高分辨率视频时，像素时钟必然需要变大，这是就需要异步FIFO了，插值算法和RAM阵列具体负责图像缩放算法层面的实现；

插值算法和RAM阵列以ram和fifo为核心进行数据缓存和插值实现，设计架构如下：

图像缩放模块代码架构如下：模块的例化请参考工程源码的顶层代码；

图像缩放模块FIFO的选择可以调用工程对应的vivado工具自带的FIFO IP核，也可以使用纯verilog实现的FIFO，可通过接口参数选择，图像缩放模块顶层接口如下：

module helai_video_scale #(
	//---------------------------Parameters----------------------------------------
	parameter FIFO_TYPE          =	"xilinx",		// "xilinx" for xilinx-fifo ; "verilog" for verilog-fifo
	parameter DATA_WIDTH         =	8       ,		//Width of input/output data
	parameter CHANNELS           =	1       ,		//Number of channels of DATA_WIDTH, for color images
	parameter INPUT_X_RES_WIDTH  =	11      		//Widths of input/output resolution control signals	
)(
	input                            i_reset_n         ,    // 输入--低电平复位信号
	input  [INPUT_X_RES_WIDTH-1:0]   i_src_video_width ,	// 输入视频--即缩放前视频的宽度
	input  [INPUT_X_RES_WIDTH-1:0]   i_src_video_height,	// 输入视频--即缩放前视频的高度
	input  [INPUT_X_RES_WIDTH-1:0]   i_des_video_width ,	// 输出视频--即缩后前视频的宽度
	input  [INPUT_X_RES_WIDTH-1:0]   i_des_video_height,	// 输出视频--即缩后前视频的高度
	input                            i_src_video_pclk  ,	// 输入视频--即缩前视频的像素时钟
	input                            i_src_video_vs    ,	// 输入视频--即缩前视频的场同步信号,必须为高电平有效
	input                            i_src_video_de    ,	// 输入视频--即缩前视频的数据有效信号,必须为高电平有效
	input  [DATA_WIDTH*CHANNELS-1:0] i_src_video_pixel ,	// 输入视频--即缩前视频的像素数据
	input                            i_des_video_pclk  ,	// 输出视频--即缩后视频的像素时钟,一般为写入DDR缓存的时钟
	output                           o_des_video_vs    ,	// 输出视频--即缩后视频的场同步信号,高电平有效
	output                           o_des_video_de    ,	// 输出视频--即缩后视频的数据有效信号,高电平有效
	output [DATA_WIDTH*CHANNELS-1:0] o_des_video_pixel 		// 输出视频--即缩后视频的像素数据
);

FIFO_TYPE选择原则如下：
1：总体原则，选择"xilinx"好处大于选择"verilog"；
2：当你的FPGA逻辑资源不足时，请选"xilinx"；
3：当你图像缩放的视频分辨率较大时，请选"xilinx"；
4：当你的FPGA没有FIFO IP或者FIFO IP快用完了，请选"verilog"；
5：当你向自学一下异步FIFO时，，请选"verilog"；
6：不同FPGA型号对应的工程FIFO_TYPE参数不一样，但选择原则一样，具体参考代码；

2种插值算法的整合与选择
本设计将常用的双线性插值和邻域插值算法融合为一个代码中，通过输入参数选择某一种算法；
具体选择参数如下：

input  wire i_scaler_type //0-->bilinear;1-->neighbor

通过输入i_scaler_type 的值即可选择；

输入0选择双线性插值算法；
输入1选择邻域插值算法；

代码里的配置如下：

图像缩放模块使用

图像缩放模块使用非常简单，顶层代码里设置了四个参数，举例如下：

上图视频通过图像缩放模块但不进行缩放操作，旨在掌握图像缩放模块的用法；如果需要将图像放大到1080P，则修改为如下：

当然，需要修改的不仅仅这一个地方，FDMA的配置也需要相应修改，详情请参考代码，但我想要证明的是，图像缩放模块使用非常简单，你都不需要知道它内部具体怎么实现的，上手就能用；

图像缓存

使用本博常用的FDMA图像缓存架构实现图像3帧缓存，缓存介质为板载的DDR3；FDMA图像缓存架构由FDMA、FDMA控制器、缓存帧选择器构成、Xilinx MIG IP核构成；图像缓存使用Xilinx vivado的Block Design设计，如下图：

关于FDMA更详细的介绍，请参考我之前的博客，博文链接如下：
点击直接前往

VGA时序

VGA时序模块负责产生VGA时序，他有两个作用，一是控制FDMA控制器从DDR3中读出缓存的视频，二是将同步后的VGA视频送入下一级模块，在HDMI输出方式下VGA时序模块的像素时钟由用户提供；在SDI输出方式下VGA时序模块的像素时钟由SMPTE SD/HD/3G SDI IP核的发送用户时钟提供，在不同的SDI模式下像素时钟不同，比如在3G-SDI模式下像素时钟为148.5M，在HD-SDI的720P@60Hz模式下像素时钟为74.25M；HDMI输出方式下的VGA时序模块代码架构如下：

SDI输出方式下的VGA时序模块代码架构如下：

本博使用的FPGA开发板有两路SDI输出接口，所以SDI输出方式下的VGA时序模块例化了两个；

HDMI输出

在HDMI输出方式下，使用HDMI输出模块将RGB视频编码为HDMI差分信号，HDMI输出模块采用verilog代码手写，可以用于FPGA的HDMI发送应用，关于这个模块，请参考我之前的博客，博客地址：点击直接前往

RGB转BT1120

在SDI输出方式下需要使用该模块；RGB转BT1200模块的作用是将用户侧的RGB视频转换为BT1200视频输出给SMPTE SD/HD/3G SDI IP核；RGB转BT1120模块由RGB888转YUV444模块、YUV444转YUV422模块、SDI视频编码模块、数据嵌入模块组成，该方案参考了Xilinx官方的设计；BT1120转RGB模块代码架构如下：

Gv8500 驱动器

Gv8500芯片实现差分转单端和增强驱动的功能，这里选用Gv8500是因为借鉴了了Xilinx官方的方案，当然也可以用其他型号器件。Gv8500驱动器原理图如下：

SDI转HDMI盒子

在SDI输出方式下需要使用到SDI转HDMI盒子，因为我手里的显示器没有SDI接口，只有HDMI接口，为了显示SDI视频，只能这么做，当然，如果你的显示器有SDI接口，则可直接连接显示，我的SDI转HDMI盒子在某宝购买，不到100块；

工程源码架构

本博客提供3套工程源码，工程1使用HDMI输出，工程2和工程3使用SDI输出，3套代码的vivado Block Design设计如下：
Block Design设计为图像缓存架构的部分：

使用HDMI输出的工程源码架构如下（工程1）：

使用SDI输出的工程源码架构如下（工程2、工程3）：

4、工程源码1详解–>HD-SDI图像缩放转HDMI

开发板FPGA型号：Xilinx–Kintex7–xc7k325tffg676-2；
开发环境：Vivado2019.1；
输入：HD-SDI相机，分辨率1920x1080@30Hz；
输出：HDMI，1080P分辨率下的960x540有效区域显示；
输入输出缩放方案：输入1920x1080–>输出960x540；
工程作用：此工程目的是让读者掌握FPGA实现SDI图像缩放转HDMI的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第3章节“详细设计方案”的“工程源码架构”小节内容；
工程的资源消耗和功耗如下：

5、工程源码2详解–>HD-SDI图像缩放HD-SDI

开发板FPGA型号：Xilinx–Kintex7–xc7k325tffg676-2；
开发环境：Vivado2019.1；
输入：HD-SDI相机，分辨率1920x1080@30Hz；
输出：HD-SDI ，分辨率1280x720@60Hz；
输入输出缩放方案：输入1920x1080–>输出1280x720；
工程作用：此工程目的是让读者掌握FPGA实现SDI图像缩放转SDI的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第3章节“详细设计方案”的“工程源码架构”小节内容；
工程的资源消耗和功耗如下：

6、工程源码3详解–>HD-SDI图像缩放转3G-SDI

开发板FPGA型号：Xilinx–Kintex7–xc7k325tffg676-2；
开发环境：Vivado2019.1；
输入：HD-SDI相机，分辨率1920x1080@30Hz；
输出：HDMI，1080P分辨率下的960x540有效区域显示；
输入输出缩放方案：输入1920x1080–>输出960x540；
工程作用：此工程目的是让读者掌握FPGA实现SDI图像缩放转SDI的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第3章节“详细设计方案”的“工程源码架构”小节内容；
工程的资源消耗和功耗如下：

7、工程移植说明

vivado版本不一致处理

1：如果你的vivado版本与本工程vivado版本一致，则直接打开工程；
2：如果你的vivado版本低于本工程vivado版本，则需要打开工程后，点击文件–>另存为；但此方法并不保险，最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本；

3：如果你的vivado版本高于本工程vivado版本，解决如下：

打开工程后会发现IP都被锁住了，如下：

此时需要升级IP，操作如下：

FPGA型号不一致处理

如果你的FPGA型号与我的不一致，则需要更改FPGA型号，操作如下：



更改FPGA型号后还需要升级IP，升级IP的方法前面已经讲述了；

其他注意事项

1：由于每个板子的DDR不一定完全一样，所以MIG IP需要根据你自己的原理图进行配置，甚至可以直接删掉我这里原工程的MIG并重新添加IP，重新配置；
2：根据你自己的原理图修改引脚约束，在xdc文件中修改即可；
3：纯FPGA移植到Zynq需要在工程中添加zynq软核；

8、上板调试验证

准备工作

需要准备的器材如下：
FPGA开发板；
SDI摄像头；
SDI转HDMI盒子；
HDMI显示器；
我的开发板了连接如下：

工程1输出视频演示

工程1为HD-SDI 1920x1080@30Hz分辨率输入，经图像缩放后，输出HDMI 1920x1080黑色背景下叠加缩放后的960x540的有效视频，输出如下：

工程1输出视频演示

工程2输出视频演示

工程2为HD-SDI 1920x1080@30Hz分辨率输入，经图像缩放后，输出HD-SDI分辨率为1280x720@60Hz的视频，输出如下：

工程2输出视频演示

工程3输出视频演示

工程3为HD-SDI 1920x1080@30Hz分辨率输入，经图像缩放后，输出3G-SDI 1920x1080黑色背景下叠加缩放后的960x540的有效视频，输出如下：

工程2输出视频演示

9、福利：工程代码的获取

福利：工程代码的获取
代码太大，无法邮箱发送，以某度网盘链接方式发送，
资料获取方式：私，或者文章末尾的V名片。
网盘资料如下：

此外，有很多朋友给本博主提了很多意见和建议，希望能丰富服务内容和选项，因为不同朋友的需求不一样，所以本博主还提供以下服务：