FPGA基于VCU的H265视频解压缩，解码后HDMI2.0输出，支持4K60帧，提供工程源码+开发板+技术支持

FPGA基于VCU的H265视频解压缩，解码后HDMI2.0输出，支持4K60帧，提供工程源码+开发板+技术支持

1、前言

Xilinx Zynq UltraScale+ ZUEV系列FPGA自带VCU视频编解码功能，VCU有以下特点：
• 支持多达 32 个流的同步编码和解码 （最大聚合带宽为3840x2160 @ 60fps）
• 低时延速率控制
• 灵活的速率控制：CBR、 VBR 和常量 QP
• 支持分辨率高达 4K UHD @ 60 Hz 的同步编码和解码
• 支持 8 K UHD (~15 Hz) 的降低帧速率

本设计采用Zynq UltraScale+MPSoCs–XCZU4EV的高端型号FPGA做基于VCU的H265视频压缩，输入视频源使用实现准备好的一段.ts的压缩视频，并将视频文件存放在TF卡中；启动开发板后，Linux系统会读取.ts的压缩视频，然后将其拷贝到Zynq UltraScale+的PS侧DDR4中；然后然后调用Xilinx官方的Zynq UltraScale+ VCU IP核做H265解压缩压缩操作并将解码后的视频回灌到DDR4中缓存；然后调用Xilinx官方的Video Frame Buffer Read IP核将图像从PS侧的DDR4中读出输出到下一级；然后调用Xilinx官方的Video Mixer IP核将图像加上背景合并输出到下一级；然后调用Xilinx官方的HDMI 1.4/2.0 Transmitter Subsystem IP核做4K高清视频的编码工作并输出到下一级，不包含音频流；然后调用Xilinx官方的Video PHY Controller IP核接收4K输入视频做串转换工作，将原来的并行信号转为高速串行信号，输出HDMI2.0接口，最后送显示器显示即可；

本设计提供资源如下：
• 提供一套XCZU4EV开发板
• 提供一套Vivado2020.2版本的工程源码
• 提供一套编译好的固件，可启动Linux系统

本博客详细描述了Xilinx系列Zynq UltraScale+MPSoCs–XCZU4EV的高端型号FPGA基于VCU的H265视频解压缩的设计方案，工程代码可综合编译上板调试，可直接项目移植，适用于在校学生、研究生项目开发，也适用于在职工程师做学习提升，可应用于医疗、军工等行业的高速接口或图像处理领域；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网以及其他开源免费获取渠道等等)，若大佬们觉得有所冒犯，请私信批评教育；部分模块源码转载自上述网络，版权归原作者所有，如有侵权请联系我们删除；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

我这里已有的视频图像编解码方案

我这里有图像的JPEG解压缩、JPEG-LS压缩、H264编解码、H265编解码以及其他方案，后续还会出更多方案，我把他们整合在一个专栏里面，会持续更新，专栏地址：
直接点击前往

4K60帧HDMI2.0输入，H265视频压缩方案

前面出过一篇博客，介绍了4K60帧HDMI2.0输入，然后H265视频压缩的方案，博客链接如下
专栏地址：
直接点击前往

3、详细设计方案

设计框图

本设计使用的工程详细设计方案框图如下：

FPGA开发板

本UP主有下列FPGA开发板均可实现4K@60Hz视频 HDMI2.0的收发，本博客仅仅是介绍了其中Zynq UltraScale+系列的开发板实现方案，需要其他方案的朋友可以在博客末尾联系到本UP，现有开发板方案如下：
1–>Xilinx Kintxe7 FPGA开发板；
2–>Xilinx Kintxe7 UltraScale FPGA开发板；
3–>Xilinx Kintxe7 UltraScale+ FPGA开发板；
4–>Xilinx Virtxe7 FPGA开发板；
5–>Zynq UltraScale FPGA开发板；
6–>Zynq UltraScale+ FPGA开发板（本博客使用到的）；
关于本博客使用的这款开发板详细信息，请参考我之前的博客，对这块开发板感兴趣的朋友可以咨询本UP获得；博客链接如下：
点击直接前往

解压视频源

事先准备一个.ts的压缩视频，网上有MP4转TS的教程，并将视频文件复制到Linux启动TF卡中，如图：

Zynq UltraScale+ VCU

Zynq UltraScale+ VCU是Xilinx Zynq UltraScale+ ZUEV系列FPGA才有的IP，可以实现最高4K60帧的视频压缩和解压，IP的官方文档是《PG252》，读者可以自行前往阅读，Zynq UltraScale+ VCU配置如下：

输入视频格式为YUV420，最高分辨率配置为4K60帧；

Video Frame Buffer Read

Video Frame Buffer Read相当于精简版的VDMA，只具有视频从DDR读出的功能，与VDMA相比具有YUV视频读出的功能，配置如下：

在Linux设计中可以对视频写入的基地址进行配置，通过终端指令配置；

Video Mixer

采用Xilinx官方的Video Mixer IP核实现视频背景叠加，Video Mixer最多只能实现16路视频拼接，Video Mixer的资源消耗截图如下：

Video Mixer IP配置如下：这里配置为最高4K；

在Linux设计中可以对输入视频进行缩放，通过终端指令配置缩放视频分辨率；

关于Video Mixer的详细用法，请参考我之前的博客，博客地址如下：
点击直接前往

HDMI 1.4/2.0 Transmitter Subsystem

用XIlinx方案做4K HDMI视频收发必须要用到此IP，HDMI 1.4/2.0 Transmitter Subsystem配置如下：

关于HDMI 1.4/2.0 Transmitter Subsystem发送HDMI2.0的用法，请参考我之前的博客，博客地址如下：
点击直接前往

Video PHY Controller

用XIlinx方案做4K HDMI2.0视频收发必须要用到此IP，Video PHY Controller IP核主要做解串和串化的工作，利用FPGA GT资源，即利用GTH；在接收端接收4K 高清视频并做解串工作，将原来高速串行信号解为3路20bit的AXI4-Stream并行数据，在发送端做4K 高清视频并做串化工作，将原3路20bit的AXI4-Stream并行数据串化为高速串行信号；Video PHY Controller配置如下：

关于Video PHY Controller收发HDMI2.0的用法，请参考我之前的博客，博客地址如下：
点击直接前往

PetaLinux 系统制作

PetaLinux版本为2020.2，提供一套编译好的固件，文件复制到TF卡后，可启动Linux系统；

工程源码架构

工程源码架构包括vivado Block Design逻辑设计和PetaLiux软件设计；
Block Design逻辑设计架构截图如下：

综合后的源码架构如下：

4、Vivado工程源码详解

开发板FPGA型号：Xilinx–Zynq UltraScale+MPSoCs–xczu4ev-sfvc784-2-i；
开发环境：Vivado2020.2；
输入：.ts压缩视频，分辨率1080P @60Hz；
输出：HDMI2.0，分辨率1080P @60Hz；
视频解压缩方案：Zynq UltraScale+ VCU–H265；
工程源码架构请参考前面第3章节中的《工程源码架构》小节；
工程作用：此工程目的是让读者掌握FPGA基于VCU的H265视频解压缩的设计能力，以便能够移植和设计自己的项目；
工程的资源消耗和功耗如下：

5、工程移植说明

vivado版本不一致处理

1：如果你的vivado版本与本工程vivado版本一致，则直接打开工程；
2：如果你的vivado版本低于本工程vivado版本，则需要打开工程后，点击文件–>另存为；但此方法并不保险，最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本；

3：如果你的vivado版本高于本工程vivado版本，解决如下：

打开工程后会发现IP都被锁住了，如下：

此时需要升级IP，操作如下：

FPGA型号不一致处理

如果你的FPGA型号与我的不一致，则需要更改FPGA型号，操作如下：



更改FPGA型号后还需要升级IP，升级IP的方法前面已经讲述了；

其他注意事项

1：由于每个板子的DDR不一定完全一样，所以MIG IP需要根据你自己的原理图进行配置，甚至可以直接删掉我这里原工程的MIG并重新添加IP，重新配置；
2：根据你自己的原理图修改引脚约束，在xdc文件中修改即可；
3：纯FPGA移植到Zynq需要在工程中添加zynq软核；

6、上板调试验证并演示

准备工作

FPGA开发板，推荐使用本博的开发板；
显示器；
开发板连接如下：

开发板有启动模式选择拨码开关，SD卡启动方式如下，请将开发板拨到如图的配置：

然后将资料中的如下图所示压缩包解压，并将解压后的全部文件复制到TF卡中：

然后插上TF卡，然后将串口线和网线连接到电脑，安装串口驱动，资料包中已经提供，上电；

配置Xshell

我们使用Xshell连接开发板模拟Linux终端的操作，Xshell配置如下：

查询显示器分辨率

首先需要查询与开发板连接的显示器支持的做大分辨率，输入指令如下：
• 终端指令：modetest -D a0000000.v_mix

配置输出分辨率

然后配置输出分辨率，这个分辨率必须和上面查到的显示器分辨率相适应，不然无法显示；
• 终端指令：modetest -D a0000000.v_mix -s 38:1920x1080-60@BG24

H265解压视频并播放

然后可执行H265解压视频操作，并输出HDMI接口；
• 终端指令：gst-launch-1.0 uridecodebin uri=“file:///mnt/sd-mmcblk1p1/record.ts” ! queue max-size-bytes=0 ! kmssink
bus-id=“a0000000.v_mix”

连接HDMI线到显示器即可播放；

H265解压视频输出演示

播放H265解压视频演示：

FPGA实现H265视频解压

7、福利：工程源码获取

福利：工程代码的获取
代码太大，无法邮箱发送，以某度网盘链接方式发送，
资料获取方式：私，或者文章末尾的V名片。
网盘资料如下：