FPGA千兆网 UDP 网络视频传输，基于B50610 PHY实现，提供2套工程和QT上位机源码加技术支持

9527华安

已于 2024-01-11 11:33:54 修改

阅读量5.9k

点赞数 13

分类专栏：菜鸟FPGA以太网专题菜鸟FPGA图像处理专题文章标签： fpga开发图像处理网络通信 UDP verilog B50610

于 2022-11-08 11:26:31 首次发布

本文链接：https://blog.csdn.net/qq_41667729/article/details/127740292

版权

菜鸟FPGA图像处理专题同时被 2 个专栏收录

195 篇文章 531 订阅

订阅专栏

菜鸟FPGA以太网专题

54 篇文章 458 订阅

订阅专栏

1、前言

没玩过UDP协议栈都不好意思说自己玩儿过FPGA，这是CSDN某大佬说过的一句话，鄙人深信不疑。。。UDP协议栈在实际项目中应用广泛，特别是在医疗和军工行业；本文使用Xilinx的Kintex7 FPGA基于B50610网络PHY芯片实现千兆网UDP视频传输，视频源有两种，分别对应开发者手里有没有摄像头的情况，一种是使用廉价的OV5640摄像头模组；另一种是如果你的手里没有摄像头，或者你的开发板没摄像头输入接口，则可使用代码内部生成的动态彩条模拟摄像头视频，视频源的选择通过代码顶层的`define宏定义进行，上电默认选择OV5640摄像头模组作为视频输入源；FPGA采集视频后，使用FDMA将视频缓存到DDR3中，然后将视频读出，根据与QT上位机的通信协议将视频进行UDP数据组包，然后使用我们的UDP协议栈对视频进行UDP数据封装，再将数据送入Tri Mode Ethernet MAC IP，输出给开发板板载的B50610网络PHY，然后UDP视频通过开发板板载的RJ45网口经网线传输给电脑主机，电脑端用我们提供的QT上位机采集图像并显示；提供2套vivado2019.1版本的FPGA工程源码和QT上位机及其源码；2套工程院吗详情如下：

 工程序号      FPGA型号     PHY型号  输入视频  输出视频  PC端接收显示
vivado工程1：  Kintex7     B50610   ov5640    UDP     QT上位机
vivado工程2：  Zynq7020    B50610   ov5640    UDP     QT上位机

本博客详细描述了FPGA基于B50610网络PHY芯片实现千兆网UDP视频传输的设计方案，工程代码可综合编译上板调试，可直接项目移植，适用于在校学生、研究生项目开发，也适用于在职工程师做学习提升，可应用于医疗、军工等行业的高速接口或图像处理领域；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；

版本更新说明

此版本为第3版，根据读者的建议，对第1版工程做了如下改进和更新：
1：增加了输入视频动态彩条的选择，有的读者说他手里没有OV5640摄像头，或者摄像头原理图和我的不一致，导致在移植过程中困难很大，基于此，增加了动态彩条，它由FPGA内部产生，不需要外接摄像头就可以使用，使用方法在后文有说明；
2：优化了FDMA，之前的FDMA内AXI4的数据读写突发长度为256，导致在低端FPGA上带宽不够，从而图像质量不佳，基于此，将FDMA内AXI4的数据读写突发长度改为128；
3：优化了UDP协议栈及其数据缓冲FIFO组的代码，并在博文里增加了这一部分的代码说明；
4：增加了Tri Mode Ethernet MAC IP核的使用、更新、修改等说明，以单独文档形式放在了资料包中；
5：优化了整体代码架构，使得之前看起来杂乱无章的代码变得清爽简洁；
6：增加了一套Zynq7020的工程；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等)，若大佬们觉得有所冒犯，请私信批评教育；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、我这里已有的以太网方案

目前我这里有大量UDP协议的工程源码，包括UDP数据回环，视频传输，AD采集传输等，也有TCP协议的工程，还有RDMA的NIC 10G 25G 100G网卡工程源码，对网络通信有需求的兄弟可以去看看：直接点击前往
其中千兆TCP协议的工程博客如下：
直接点击前往

3、设计思路框架

FPGA工程设计框图如下：
在这里插入图片描述

视频源选择

视频源有两种，分别对应开发者手里有没有摄像头的情况，一种是使用廉价的OV5640摄像头模组；另一种是如果你的手里没有摄像头，或者你的开发板没摄像头输入接口，则可使用代码内部生成的动态彩条模拟摄像头视频，视频源的选择通过代码顶层的宏定义进行，上电默认选择OV5640摄像头模组作为视频输入源；
视频源的选择通过代码顶层的`define宏定义进行；如下：
在这里插入图片描述
选择逻辑代码部分如下：

选择逻辑如下：
当(注释) define COLOR_IN时，输入源视频是动态彩条；
当(不注释) define COLOR_IN时，输入源视频是ov5640摄像头；

OV5640摄像头配置及采集

OV5640摄像头需要i2c配置才能使用，需要将DVP接口的视频数据采集为RGB565或者RGB888格式的视频数据，这两部分均用verilog代码模块实现，代码位置如下：
在这里插入图片描述
其中摄像头配置为分辨率1280x720，如下：

摄像头采集模块支持RGB565和RGB888格式的视频输出，可由参数配置，如下：

RGB_TYPE=0输出本RGB565格式；
RGB_TYPE=1输出本RGB888格式；
设计选择RGB565格式；

动态彩条

动态彩条可配置为不同分辨率的视频，视频的边框宽度，动态移动方块的大小，移动速度等都可以参数化配置，我这里配置为辨率1280x720，动态彩条模块代码位置和顶层接口和例化如下：
在这里插入图片描述

图像缓存

经常看我博客的老粉应该都知道，我做图像缓存的套路是FDMA，他的作用是将图像送入DDR中做3帧缓存再读出显示，目的是匹配输入输出的时钟差和提高输出视频质量，关于FDMA，请参考我之前的博客，博客地址：点击直接前往
需要注意的是，为了适应UDP视频传输，这里的FDMA已被我修改，和以往版本不同，具体参考代码；工程1的缓存采用FDMA方案，图像缓存到板载的DDR3中，工程2的缓存也采用FDMA方案，但图像缓存到板载的PS端DDR3中，所以需要调用zynq软核实现；

UDP协议栈

本UDP协议栈方案需配合Xilinx的Tri Mode Ethernet MAC三速网IP一起使用，使用UDP协议栈网表文件，虽看不见源码但可正常实现UDP通信，该协议栈目前并不开源，只提供网表文件，但不影响使用，该协议栈带有用户接口，使得用户无需关心复杂的UDP协议而只需关心简单的用户接口时序即可操作UDP收发，非常简单；
协议栈架构如下：
在这里插入图片描述
协议栈性能表现如下：
1：支持 UDP 接收校验和检验功能，暂不支持 UDP 发送校验和生成；
2：支持 IP 首部校验和的生成和校验，同时支持 ICMP 协议中的 PING 功能，可接收并响应同一个子网内部设备的 PING 请求；
3：可自动发起或响应同一个子网内设备的 ARP 请求，ARP 收发完全自适应。ARP 表可保存同一个子网内部256 个 IP 和 MAC 地址对；
4：支持 ARP 超时机制，可检测所需发送数据包的目的 IP 地址是否可达；
5：协议栈发送带宽利用率可达 93%，高发送带宽下，内部仲裁机制保证 PING 和 ARP 功能不受任何影响；
6：发送过程不会造成丢包；
7：提供64bit位宽AXI4-Stream形式的MAC接口，可与Xilinx官方的千兆以太网IP核Tri Mode Ethernet MAC，以及万兆以太网 IP 核 10 Gigabit Ethernet Subsystem、10 Gigabit Ethernet MAC 配合使用；
有了此协议栈，我们无需关心复杂的UDP协议的实现了，直接调用接口即可使用。。。
本UDP协议栈用户接口发送时序如下：
在这里插入图片描述
本UDP协议栈用户接口接收时序如下：

UDP视频数据组包

实现UDP视频数据的组包，UDP数据发送必须与QT上位机的接受程序一致，上位机定义的UDP帧格式包括帧头个UDP数据，帧头定义如下：
在这里插入图片描述
FPGA端的UDP数据组包代码必须与上图的数据帧格式对应，否则QT无法解析，代码中定义了数据组包状态机以及数据帧，如下：

另外，由于UDP发送是64位数据位宽，而图像像素数据是24bit位宽，所以必须将UDP数据重新组合，以保证像素数据的对齐，这部分是整个工程的难点，也是所有FPGA做UDP数据传输的难点；

UDP协议栈数据发送

UDP协议栈具有发送和接收功能，但这里仅用到了发送，此部分代码架构如下：
在这里插入图片描述
UDP协议栈代码组我已经做好，用户可直接拿去使用；

UDP协议栈数据缓冲

这里对代码中用到的数据缓冲FIFO组做如下解释：
由于 UDP IP 协议栈的 AXI-Stream 数据接口位宽为 64bit，而 Tri Mode Ethernet MAC 的 AXI-Stream数据接口位宽为 8bit。因此，要将 UDP IP 协议栈与 Tri Mode Ethernet MAC 之间通过 AXI-Stream 接口互联，需要进行时钟域和数据位宽的转换。实现方案如下图所示：
在这里插入图片描述
收发路径(本设计只用到了发送)都使用了2个AXI-Stream DATA FIFO，通过其中1个FIFO实现异步时钟域的转换，1个FIFO实
现数据缓冲和同步Packet mode功能；由于千兆速率下Tri Mode Ethernet MAC的AXI-Stream数据接口同步时钟信号为125MHz，此时，UDP协议栈64bit的AXI-Stream数据接口同步时钟信号应该为125MHz/(64/8)=15.625MHz，因此，异步
AXI-Stream DATA FIFO两端的时钟分别为125MHz(8bit)，15.625MHz(64bit)；UDP IP协议栈的AXI-Stream接口经过FIFO时钟域转换后，还需要进行数据数据位宽转换，数据位宽的转换通过AXI4-Stream Data Width Converter完成，在接收路径中，进行 8bit 到 64bit 的转换；在发送路径中，进行 64bit 到 8bit 的转换；

IP地址、端口号的修改

UDP协议栈留出了IP地址、端口号的修改端口供用户自由修改，位置如下：
在这里插入图片描述

Tri Mode Ethernet MAC介绍以及移植注意事项

本设计调用了Xilinx官方IP：Tri Mode Ethernet MAC，其在代码中的位置如下：
在这里插入图片描述
可以看到其中泰处于被锁定状态，这是我们故意为之，目的是根据不同的PHY延时参数而修改其内部代码和内部时序约束代码，由于本设计使用的网络PHY为B50610，所以这里重点介绍使用B50610时Tri Mode Ethernet MAC的修改和移植事项，当你需要工程移植，或者你的vivado版本与我的不一致时，Tri Mode Ethernet MAC都需要在vivado中进行升级，但由于该IP已被我们人为锁定，所以升级和修改需要一些高端操作，关于操作方法，我专门写了一篇文档，已附在资料包里，如下：
在这里插入图片描述

B50610 PHY

本设计开发板使用的网络PHY为B50610，工作在延时模式下，原理图引出了MDIO，但代码中不需要MDIO配置，通过上下拉电阻即可使B50610工作于延时模式，该PHY最高支持千兆，且能在10M/100M/1000M之间自动协商，但本设计在Tri Mode Ethernet MAC端固定为1000M；在资料包中，我们提供B50610的原理图；
在这里插入图片描述

QT上位机和源码

我们提供和UDP通信协议相匹配的QT抓图显示上位机及其源代码，目录如下：
在这里插入图片描述
我们的QT目前仅支持1280x720分辨率的视频抓图显示，但同时预留了1080P接口，对QT开发感兴趣的朋友可以尝试修改代码以适应1080P，因为QT在这里只是验证工具，不是本工程的重点，所以不再过多赘述，详情请参考资料包的QT源码，位置如下：
在这里插入图片描述

4、vivado工程1详解

开发板FPGA型号：Xilinx–Kintex7–xc7k325tffg676-2；
开发环境：Vivado2019.1；
输入：OV5640摄像头或动态彩条，分辨率1280x720；
输出：千兆UDP协议栈，RJ45网口；
工程作用：千兆UDP网络视频传输；
工程BD如下：
在这里插入图片描述
工程代码架构如下：

工程的资源消耗和功耗如下：

5、vivado工程2详解

开发板FPGA型号：Xilinx–Zynq7020–xc7z020clg400-2；
开发环境：Vivado2019.1；
输入：OV5640摄像头或动态彩条，分辨率1280x720；
输出：千兆UDP协议栈，RJ45网口；
工程作用：千兆UDP网络视频传输；
工程BD如下：
在这里插入图片描述
工程代码架构如下：

工程的资源消耗和功耗如下：

zynq需要运行SDK才能工作，由于工程没有使用需要AXI4-Lite接口配置的IP，所以SDK仅需运行一个hello world即可，入下：

6、工程移植说明

vivado版本不一致处理

1：如果你的vivado版本与本工程vivado版本一致，则直接打开工程；
2：如果你的vivado版本低于本工程vivado版本，则需要打开工程后，点击文件–>另存为；但此方法并不保险，最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本；
在这里插入图片描述
3：如果你的vivado版本高于本工程vivado版本，解决如下：

打开工程后会发现IP都被锁住了，如下：

此时需要升级IP，操作如下：