Xilinx系列FPGA纯VHDL代码解码MIPI视频+OSD动态字符叠加，基于OV5640摄像头实现，提供1套工程源码和技术支持

Xilinx系列FPGA纯VHDL代码解码MIPI视频+OSD动态字符叠加，基于OV5640摄像头实现，提供1套工程源码和技术支持

1、前言

FPGA图像采集领域目前协议最复杂、技术难度最高的应该就是MIPI协议了，MIPI解码难度之高，令无数英雄竞折腰，以至于Xilinx官方不得不推出专用的IP核供开发者使用，不然太高端的操作直接吓退一大批FPGA开发者，就没人玩儿了。

工程概述

本设计基于Xilinx系列FPGA开发板采集OV5640摄像头的2Line MIPI视频，本方案最大的价值在于采用纯VHDL代码实现的MIPI解码架构，包括MIPI-DPHY模块、MIPI-CSI2-RX模块、RAW转RGB模块、伽马校正模块，这些模块均有VHDL代码实现；OV5640摄像头配置为MIPI模式，RAW10数据格式，MIPI引脚经过权电阻分离出LP电路后接入FPGA的HS BANK的LVDS差分IO；首先调用VHDL实现的自研的MIPI-DPHY IP核实现MIPI协议物理层解串和通道绑定融合功能；然后调用VHDL实现的自研的MIPI-CSI2-RX IP核实现MIPI协议层解析功能，并提取出有效的像素数据以及行场等同步信号，并封装为AXI4-Stream接口协议输出；然后调用VHDL实现的自研的RAW转RGB IP核实现WAR10数据到RGB数据的转换；然后调用VHDL实现的自研的伽马校正 IP核实现伽马校正功能，使输出图像更符合人眼识别特征；然后调用Xilinx的VDMA IP实现图像三帧缓存功能；
然后调用本博主自研的基于HLS实现的OSD动态字符叠加IP实现对输出视频的动态字符叠加操作；然后调用Xilinx的Video Timing Controller和AXI4-Stream toVideo Out IP实现视频流从AXI4-Stream到VGA时序的转换；最后用自定义的RGB转HDMI模块将视频输出显示器显示；整个工程调用Zynq或MicroBlaze软核做IP的配置，在SDK里以C语言软件代码的形式运行，所以整个工程包括FPGA逻辑设计和SDK软件设计两部分，需要具备FPGA和嵌入式C语言的综合能力，不适合初学者或者小白。。。针对目前市面上主流的FPGA，本Xilinx系列FPGA解码OV5640-MIPI视频方案一共移植了1套工程源码，详情如下：

这里说明一下提供的1套工程源码的作用和价值，如下：

工程源码1

FPGA开发板型号为Xilinx–Zynq7020–xc7z020clg400-2，输入视频为OV5640摄像头，MIPI模式，2 Line，RAW10输出像素，分辨率配置为1280x720@60Hz；经过VHDL实现的自研的MIPI-DPHY IP核实现MIPI协议物理层解串和通道绑定融合功能，再VHDL实现的自研的MIPI-CSI2-RX IP核实现MIPI协议层解析功能，再经过VHDL实现的自研的RAW转RGB IP核实现WAR10数据到RGB数据的转换；再经过VHDL实现的自研的伽马校正 IP核实现伽马校正功能；再经过VDMA实现视频三帧缓存，图像缓存介质为DDR3；再经过本博主自研的基于HLS实现的OSD动态字符叠加IP实现对输出视频的动态字符叠加操作；最后视频以HDMI接口输出，输出分辨率为1280x720@60Hz；该方案适用于Xilinx Zynq7000系列FPGA的MIPI解码应用，需要运行Zynq软核；

本文详细描述了Xilinx系列FPGA纯VHDL代码解码MIPI视频+OSD动态字符叠加设计方案，工程代码编译通过后上板调试验证，可直接项目移植，适用于在校学生做毕业设计、研究生项目开发，也适用于在职工程师做项目开发，可应用于医疗、军工等行业的数字成像和图像传输领域；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；
关于MIPI协议，请自行搜索，csdn就有很多大佬讲得很详细，我就不多写这块了；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等)，若大佬们觉得有所冒犯，请私信批评教育；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

我这里已有的 MIPI 编解码方案

我这里目前已有丰富的基于FPGA的MIPI编解码方案，主要是MIPI解码的，既有纯vhdl实现的MIPI解码，也有调用Xilinx官方IP实现的MIPI解码，既有2line的MIPI解码，也有4line的MIPI解码，既有4K分辨率的MIPI解码，也有小到720P分辨率的MIPI解码，既有基于Xilinx平台FPGA的MIPI解码也有基于Altera平台FPGA的MIPI解码，还有基于Lattice平台FPGA的MIPI解码，后续还将继续推出更过国产FPGA的MIPI解码方案，毕竟目前国产化方案才是未来主流，后续也将推出更多MIPI编码的DSI方案，努力将FPGA的MIPI编解码方案做成白菜价。。。
基于此，我专门建了一个MIPI编解码的专栏，并将MIPI编解码的博客都放到了专栏里整理，对FPGA编解码MIPI有项目需求或学习兴趣的兄弟可以去我的专栏看看，专栏地址如下：
点击直接前往专栏

本方案的基础MIPI解码应用

本方案有的基础MIPI解码应用，即解码MIPI视频并输出显示，可浏览我之前写的博客，博客地址如下：
点击直接前往

本方案的MIPI解码+图像缩放应用

本方案有的基础MIPI解码+图像缩放应用，即解码MIPI视频后经过图像缩放再输出显示，可浏览我之前写的博客，博客地址如下：
点击直接前往

本方案的MIPI解码+图像缩放+视频拼接应用

本方案有的基础MIPI解码+图像缩放+视频拼接应用，即解码MIPI视频后经过图像缩放+多路视频拼接再输出显示，可浏览我之前写的博客，博客地址如下：
点击直接前往

OSD动态字符叠加的基础应用

本方案是OSD动态字符叠加的基础应用，输入设备为OV5640摄像头DVP接口，分辨率为1280x720@30Hz，经过OSD动态字符叠加后以分辨率为1280x720@60Hz的HDMI接口输出，详情请参考我之前的博客，博客地址如下：
点击直接前往

SDI视频采集+OSD动态字符叠加应用

本方案是OSD动态字符叠加的升级版应用，输入设备为SDI视频，可自适应SD/HD/3G-SDI；SDI编解码方案采用GS2971+GS2972方案；分辨率最高支持1920x1080@60Hz，经过OSD动态字符叠加后以分辨率为1920x1080@60Hz的HDMI接口输出，详情请参考我之前的博客，博客地址如下：
点击直接前往
点击直接前往

3、本纯VHDL代码解码MIPI方案–性能及其优越性

一个字：牛逼，表现如下：
1：纯VHDL代码实现，学习性和阅读性达到天花板；
2：移植性还可以，只要兼容Xilinx解串源语的FPGA均可移植；
3：算法达到天花板，标准的CSI2接收协议实现解码；
4：实用性达到天花板，采用OV5640摄像头作为输入(主要是便宜)，不同于市面上验证性和实验性的工程，本设计直接面向实用工程，贴近真实项目，做类似项目的兄弟可直接拿去用，一个月工资直接拿到手。。。
5：支持高达1920X1080分辨率的MIPI视频解码；
6：时序收敛很到位，考虑到MIPI协议的复杂性和时序的高要求，所以没有采用时序收敛不强的verilog，而是VHDL，虽然阅读性可能会低一些，但用户只需要知道用户接口即可，并不需要去看内部的复杂代码；
7：使用方便，虽然是VHDL代码实现，但均已封装为自定义IP，用户无需关心代码实现的复杂逻辑，仅需调用IP，通过UI界面配置即可使用，当然，如果你想看里面的源码依然可以直接打开观看；

4、详细设计方案

设计原理框图

设计原理框图如下：

OV5640及其配置

输入视频采用廉价的OV5640摄像头模组，配置为MIPI模式，2 Lane，数据格式为RAW10，线速率为1000Mbps，视频分辨率为1280X720，一个时钟一个像素，OV5640需要SCCB总线配置才能运行，该总线等价于I2C总线，纯FPGA的工程调用AXI-GPIO模拟I2C，利用SDK软件配置OV5640；Zynq的工程使用PS端自带的i2c片内外资源，利用SDK软件配置OV5640，配置部分代码有C语言实现，具体参考SDK程序；

MIPI-DPHY硬件权电阻方案

使用Xilinx官方推荐的权电阻硬件方案将输入的差分MIPI对恢复HS和PL，原理图部分截图如下：

注意：权电阻方案只在低速率的MIPI模式下可用，高速率的MIPI请用专用芯片实现，比如MC20001，MC系列这种方案可以支持到2Gbps/Lane速率以上，只要FPGA的IO速率够用；

MIPI-DPHY 模块

关于MIPI D-PHY，网上介绍原理和概念的文章一大堆，在此不再重复，这里重点介绍用FPGA实现；
MIPI-DPHY 模块实现MIPI协议物理层解串和通道绑定融合功能；采用纯VHDL代码实现，为了照顾大家不习惯阅读VHDL代码的习惯，我们已经将改部分代码封装成为了自定义IP，用户无需关心代码实现的复杂逻辑，仅需调用IP，通过UI界面配置即可使用，当然，如果你想看里面的源码依然可以直接打开观看；本MIPI D-PHY只能支持1 line或者2 line的MIPI视频；参考时钟为200M，本工程中的D-PHY自定义IP调用如下：


MIPI D-PHY纯VHDL源码如下：

在本工程的纯VHDL代码解码MIPI视频架构中，MIPI D-PHY模块调用如下：

MIPI-CSI-2-RX 模块

关于MIPI CSI-2-RX，网上介绍原理和概念的文章一大堆，在此不再重复，这里重点介绍用FPGA实现；
MIPI-CSI-2-RX 模块实现MIPI协议层解析功能，并提取出有效的像素数据以及行场等同步信号，并封装为AXI4-Stream接口协议输出，采用纯VHDL代码实现，为了照顾大家不习惯阅读VHDL代码的习惯，我们已经将改部分代码封装成为了自定义IP，用户无需关心代码实现的复杂逻辑，仅需调用IP，通过UI界面配置即可使用，当然，如果你想看里面的源码依然可以直接打开观看；本MIPI CSI-2-RX只能支持1 line或者2 line的MIPI视频，数据格式支持RAW10；
本工程中的CSI-2-RX自定义IP调用如下：

MIPI CSI-2-RX纯VHDL源码如下：

在本工程的纯VHDL代码解码MIPI视频架构中，MIPI CSI-2-RX模块调用如下：

Bayer转RGB模块

关于MIPI Bayer转RGB，网上介绍原理和概念的文章一大堆，在此不再重复，这里重点介绍用FPGA实现；
Bayer转RGB模块实现WAR10数据到RGB888数据的转换，采用纯VHDL代码实现，为了照顾大家不习惯阅读VHDL代码的习惯，我们已经将改部分代码封装成为了自定义IP，用户无需关心代码实现的复杂逻辑，仅需调用IP，通过UI界面配置即可使用，当然，如果你想看里面的源码依然可以直接打开观看；
本工程中的Bayer转RGB自定义IP调用如下：

MIPI Bayer转RGB纯VHDL源码如下：

代码层面很简单，将输入视频存入RAM中，然后采用插值方式补齐RGB即可；输出数据位宽为32为，其中最高两位为填充数据，可丢弃不用，低30位数据为RGB顺序，每个颜色分量10 bit；
在本工程的纯VHDL代码解码MIPI视频架构中，Bayer转RGB模块调用如下：

伽马矫正模块

关于MIPI 伽马矫正，网上介绍原理和概念的文章一大堆，在此不再重复，这里重点介绍用FPGA实现；
伽马矫正模块实现伽马校正功能，使输出图像更符合人眼识别特征；
我们采用纯VHDL代码实现MIPI 伽马矫正功能，为了照顾大家不习惯阅读VHDL代码的习惯，我们已经将改部分代码封装成为了自定义IP，用户无需关心代码实现的复杂逻辑，仅需调用IP，通过UI界面配置即可使用，当然，如果你想看里面的源码依然可以直接打开观看；
本工程中的伽马矫正自定义IP调用如下：

MIPI 伽马矫正纯VHDL源码如下：

代码层面，将RGB的10 bit颜色分量减为8 bit，输出图像顺序为RBG，所以还需调用Xilinx官方的AXI4-Stream Subset Converter IP核将视频顺序调整为RGB；伽马矫正需要在SDK中配置；
在本工程的纯VHDL代码解码MIPI视频架构中，Bayer转RGB模块调用如下：

VDMA图像缓存

调用Xilinx的VDMA IP实现图像三帧缓存功能，该IP通过SDK的C代码软件配置；VDMA调用截图如下：

OSD动态字符叠加

OSD动态字符叠加设计框图如下如所示：

OSD动态字符叠加由视频流和字符流叠加而成，视频流来源于输入视频，经VDMA缓存DDR3后输入到动态字符叠加模块；字符流由SDK软件产生，来源是国标汉字字库，可通过软件控制字符内容产生、字符大小、字符颜色、字符显示位置等信息，并通过c语言系统函数写入DDR3，然后随视频流叠在显示；设计加采用HLS方案C++代码实现，并综合成RTL后封装为IP，可在vivado中调用该IP，关于这个方案详情，请参考我之前的博客，博客链接如下：
点击直接前往
该IP在vivado中的综合资源占用情况如下：

OSD动态字符叠加需要在SDK中运行驱动和用户程序才能正常工作，我在工程中给出了C语言程序，具体参考工程源码；OSD动态字符叠调用截图如下：

AXI4-Stream toVideo Out

再调用Xilinx的Video Timing Controller和AXI4-Stream toVideo Out IP实现视频流从AXI4-Stream到VGA时序的转换；Video Timing Controller配置为1280x720@60Hz，输出分辨率为1280x720@60Hz；这两个IP不需要软件配置；Video Timing Controller和AXI4-Stream toVideo Out调用截图如下：

HDMI输出

最后用纯verilog实现的HDMI发送模块将视频输出显示器显示，该IP最大输出分辨率只支持1920*1080@60Hz；IP调用截图如下：

工程源码架构

该工程由vivado Block Design设计和SDK软件设计构成；
vivado Block Design设计主要是MIPI解码、ISP处理、图像缓存、图像输出等逻辑部分设计；
SDK软件设计主要是对Block Design设计中使用到的各种IP进行初始化和配置；
vivado Block Design设计架构如下：

综合后的工程代码架构如下：

SDK C语言软件是为了配置FPGA调用的IP，用SDK 打开即可查看，代码内容如下：

5、vivado工程详解：Zynq7020版本

开发板FPGA型号：Xilinx–Zynq7020–xc7z020clg400-2；
开发环境：Vivado2019.1；
输入：OV5640摄像头–MIPI–2 Line–RAW10-1280x720@60Hz；
输出：HDMI–分辨率1280x720@60Hz；
MIPI解码方案：自研–纯VHDL代码方案；
字符叠加方案：自研基于HLS实现的OSD动态字符叠加方案
方案应用：Xilinx系列FPGA解码MIPI视频+OSD动态字符叠加；
工程代码架构请参考第4章节的《工程源码架构》小节内容；
工程的资源消耗和功耗如下：

6、工程移植说明

vivado版本不一致处理

1：如果你的vivado版本与本工程vivado版本一致，则直接打开工程；
2：如果你的vivado版本低于本工程vivado版本，则需要打开工程后，点击文件–>另存为；但此方法并不保险，最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本；

3：如果你的vivado版本高于本工程vivado版本，解决如下：

打开工程后会发现IP都被锁住了，如下：

此时需要升级IP，操作如下：

FPGA型号不一致处理

如果你的FPGA型号与我的不一致，则需要更改FPGA型号，操作如下：



更改FPGA型号后还需要升级IP，升级IP的方法前面已经讲述了；

其他注意事项

1：由于每个板子的DDR不一定完全一样，所以MIG IP需要根据你自己的原理图进行配置，甚至可以直接删掉我这里原工程的MIG并重新添加IP，重新配置；
2：根据你自己的原理图修改引脚约束，在xdc文件中修改即可；
3：纯FPGA移植到Zynq需要在工程中添加zynq软核；

7、上板调试验证

准备工作

需要准备的器材如下：
FPGA开发板，可以自己准备，也可以购买本博主使用的同款开发板，省事儿；
MIPI-OV5640摄像头，可以自己准备，也可以购买本博主使用的同款开发板，省事儿；
HDMI显示器；
MIPI-OV5640摄像头与开发板连接如下：

然后上电并下载bit测试；

输出视频演示

输出如下：
由于字符叠加的内容有湾湾的敏感词汇，所以审核未过，请参考SDI版本的视频演示，本工程的视频演示后面补齐：

GS2971的SDI接收+HLS动态字符叠加

8、福利：工程代码的获取

福利：工程代码的获取
代码太大，无法邮箱发送，以某度网盘链接方式发送，
资料获取方式：私，或者文章末尾的V名片。
网盘资料如下：

此外，有很多朋友给本博主提了很多意见和建议，希望能丰富服务内容和选项，因为不同朋友的需求不一样，所以本博主还提供以下服务：