【xilinx xfopencv】Vivado_HLS_ov5640_rgb2gray_hdmi 第一部分

已于 2022-05-04 15:21:02 修改
阅读量3.3k 收藏 45
点赞数 30
分类专栏： Vivado_HLS_图像处理 文章标签： opencv fpga开发
于 2022-04-12 14:00:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49474265/article/details/124106562
版权

文章目录

写在前面

本人是参考赛灵思官方文档、正点原子教程和网上相关内容，所有参考、转载会标明出处，希望文章对大家有所帮助，感谢各位！

目的

使用 Vivado HLS 实现一个图像处理的 IP 核，该 IP 核能利用 xfopencv 将 OV5640 摄像头产生的 RGB 彩色图像转换成灰度图像，在 Vivado 中对 IP 核进行验证。因为上海疫情，购买不到LCD屏，最后通过 HDMI 实时显示。

工具

1.Vivado HLS 2019.1
2.xfopencv-2019.1_release.zip

一、创建项目

打开 Vivado HLS 2019.1，创建项目 ov5640_rgb2gray。创建好之后，在项目文件夹的根目录下添加一个 src 文件夹。

在这里插入图片描述

二、步骤

1.下载xfopencv库

在 GitHub 上下载 https://github.com/Xilinx/xfopencv

在这里插入图片描述

2.引入xfopencv库

下载之后，解压在 Xilinx 文件下。

在这里插入图片描述

3.参考示例代码

如下图所示，打开文件，里面是示例的模板和代码，虽然文件较多，但这是官方固定的代码架构，代码内容不难，可以顺便学习别人的编程风格。

重点：一定要按照这个示例来，否则进行 Synthesis 的时候可能会报错，目前还不清楚原因。

在这里插入图片描述
报错的报告如下图所示

在这里插入图片描述

4.代码

下图是本人依照示例编写的该项目代码架构

在这里插入图片描述
4.1 xf_headers.h
本人查询了相关的文章，简单的对一些代码进行解释，不一定正确，仅供参考。

#ifndef _XF_HEADERS_H_
#define _XF_HEADERS_H_

/*与C环境相关的头文件*/
#include <stdio.h>
#include <stdlib.h>
#include <stdint.h>
/*与HLS相关的头文件，需要包含HLS的include的path*/
#include "ap_int.h"
#include "hls_stream.h"
/*针对SDSCC*/
#if __SDSCC__
#undef __ARM_NEON__
#undef __ARM_NEON
#include "opencv2/opencv.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#define __ARM_NEON__
#define __ARM_NEON
#else

//在CSIM中的tb中包含的H文件
#include "opencv2/opencv.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
#endif

#if __SDSCC__
#include "sds_lib.h"
#define TIME_STAMP_INIT  unsigned int clock_start, clock_end;  clock_start = sds_clock_counter();
#define TIME_STAMP  { clock_end = sds_clock_counter(); printf("elapsed time %lu \n", clock_end-clock_start); clock_start = sds_clock_counter();  }
#endif
/*在CSIM中的tb中包含的H文件*/
#include "common/xf_sw_utils.h"
#include "common/xf_axi.h"

#endif//_XF_HEADERS_H_

4.2 xf_config_params.h
xf_config_params.h 头文件中的内容似乎可以和 xf_rgb2gray_config.h 合并，但是本人先留下来了。

/* Optimization type */

#define RO  0 // Resource Optimized (8-pixel implementation)
#define NO  1 // Normal Operation (1-pixel implementation)

4.3 xf_rgb2gray_config.h
配置相关参数等的头文件，重要！

#ifndef _XF_RGB2GRAY_CONFIG_H_
#define _XF_RGB2GRAY_CONFIG_H_

/*与HLS相关的头文件，需要包含HLS的include的path*/
#include "hls_stream.h"
#include "ap_int.h"
/*与xfopencv相关的头文件*/
#include "common/xf_common.h"
#include "common/xf_utility.h"
#include "common/xf_infra.h"
/*与图像处理相关的头文件*/
#include "imgproc/xf_cvt_color.hpp"
#include "imgproc/xf_cvt_color_1.hpp"
//#include "imgproc/xf_rgb2hsv.hpp"
//#include "imgproc/xf_bgr2hsv.hpp"
// Has to be set when synthesizing

#include "xf_config_params.h"

/* config width and height */
#define WIDTH 	1024
#define HEIGHT	800

#if NO
#define NPC1 XF_NPPC1
#else
#define NPC1 XF_NPPC8
#endif
/*声明主函数*/
void ov5640_rgb2gray(hls::stream< ap_axiu<24,1,1,1> >& _src,hls::stream< ap_axiu<24,1,1,1> >& _dst,int height,int width);

#endif // _XF_RGB2GRAY_CONFIG_H_

4.4 xf_rgb2gray_accel.cpp
cvtcolor_rgb2gray 函数，核心的内置函数，重要！

#include "xf_rgb2gray_config.h"
void cvtcolor_rgb2gray(xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> &imgInput,xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPC1> &imgOutput )
	{
		xf::rgb2gray<XF_8UC3,XF_8UC1, HEIGHT, WIDTH, NPC1>(imgInput, imgOutput);
	}
void cvtcolor_gray2rgb(xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPC1> &imgInput,xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> &imgOutput )
	{
		xf::gray2rgb<XF_8UC1,XF_8UC3, HEIGHT, WIDTH, NPC1>(imgInput, imgOutput);
	}

4.5 ov5640_rgb2gray.cpp
主函数 Top Function，定义变量，调用函数等等。

#include "xf_rgb2gray_config.h"

typedef hls::stream< ap_axiu<24,1,1,1> > AXI_STREAM_24;

void cvtcolor_rgb2gray(xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> &imgInput,xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPC1> &imgOutput);
void cvtcolor_gray2rgb(xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPC1> &imgInput,xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> &imgOutput);
void ov5640_rgb2gray(AXI_STREAM_24& _src,AXI_STREAM_24& _dst,int height,int width)
{
#pragma HLS INTERFACE axis register both  port=_src
#pragma HLS INTERFACE axis register both  port=_dst

	 xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> imgInput1(height,width);
	 xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPC1> imgGray(height,width);
	 xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> imgOutput1(height,width);

#pragma HLS stream variable=imgInput1.data dim=1 depth=1
#pragma HLS stream variable=imgGray.data dim=1 depth=1
#pragma HLS stream variable=imgOutput1.data dim=1 depth=1
#pragma HLS dataflow

	xf::AXIvideo2xfMat(_src, imgInput1);

	cvtcolor_rgb2gray(imgInput1,imgGray);
	cvtcolor_gray2rgb(imgGray,imgOutput1);

	xf::xfMat2AXIvideo(imgOutput1, _dst);

}

4.6
在进行综合之前，强烈建议调试和测试。


#include "xf_headers.h"
#include "xf_rgb2gray_config.h"

int main(int argc, char** argv){
		uint16_t img_width;
		uint16_t img_height;

		cv::Mat inputimg1, inputimg;
		cv::Mat error_img0;

	cv::Mat outputimg,ocv_outputimg;
	inputimg1 = cv::imread(argv[1], 1);
	if(!inputimg1.data)
	{
		return -1;
	}
	cv::cvtColor(inputimg1,inputimg,CV_BGR2RGB);
	outputimg.create(inputimg.rows, inputimg.cols, CV_8UC1);
	static xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> imgInput(inputimg.rows,inputimg.cols);
	static xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPC1> imgOutput(outputimg.rows,outputimg.cols);

	imgInput.copyTo((unsigned short int*)inputimg.data);

	#if __SDSCC__
		hw_ctr.start();
	#endif
		cvtcolor_rgb2gray(imgInput,imgOutput);
	#if __SDSCC__
		hw_ctr.stop();
		uint64_t hw_cycles = hw_ctr.avg_cpu_cycles();
	#endif

	outputimg.data = imgOutput.copyFrom();

	//OpenCV reference
	cv::cvtColor(inputimg,ocv_outputimg,CV_RGB2GRAY,1);
	cv::imwrite("ocv_out.jpg",ocv_outputimg);
	cv::imwrite("hls_out.jpg",outputimg);
	absdiff(outputimg,ocv_outputimg,error_img0);

	/* ## *************************************************************** ##*/
	return 0;

}

5.设置

在Xilinx官方文档ug1233中介绍了相关配置。另外，进行测试的时候，可以在 testbench 中引入库中 example 下 data 文件夹中图片。
在这里插入图片描述
Synthesis 设置

在这里插入图片描述Simulation设置

在这里插入图片描述

6.结果

1.C-Sim 结果

在这里插入图片描述

在该项目文件目录下可以查看结果

在这里插入图片描述
在这里插入图片描述

2.Synthesis 成功后，会弹出report ，含有接口等信息。

在这里插入图片描述在这里插入图片描述

问题

小问题

  1. Include 后面的引号问题引起重视，中英文下的引号需要注意。

  2. 头文件中要声明使用到的函数。

  3. 配置的时候粗心，本来2个下划线，写成3个，导致了如下图的error。
    在这里插入图片描述
    在这里插入图片描述

Synthesis 过程中产生的问题

  1. cvtcolor_bgr2gray sythesis issue
    参考了GitHub上的文章解决了。
    参考该链接解决下图所示error https://github.com/Xilinx/xfopencv/issues/82
    在这里插入图片描述

  2. 待解决的警告：
    希望有解决方案的大佬评论留言，感激不尽。
    D:/Xilinx/xfopencv/include\imgproc/xf_cvt_color.hpp:2171:57: warning: default template arguments for a function template are a C++11 extension [-Wc++11-extensions]
    template <int SRC_T, int DST_T, int ROWS, int COLS, int NPC=1>
    ^ ~

总结

个人理解：之所以用 FPGA 进行图像处理，第一是因为FPGA并行计算和硬件加速的特点可以获得更快的响应。第二是因为有利于减少产品研发时间，快速形成产品，比如车牌识别，目标跟踪等。
Xilinx OpenCV 是一个为 FPGA 高级合成（HLS）优化的模板库，允许以与使用 OpenCV 库相同的方式轻松创建图像处理渠道。
推荐一篇文章，介绍 Xilinx OpenCV ，并且给每段代码进行了解释，值得收藏一看。
Introduction to Xilinx OpenCV

自己不怎么写文章，也有很多不会的地方（如3 和4.2），可能写的不好，欢迎批评、指正和交流。
第二部分 已经更新

https://blog.csdn.net/m0_49474265/article/details/124511504

后续还会更新…

晚熟的人_杜小杜
关注
  • 30
    点赞
  • 踩
  • 45
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
xfopencv_dilate.zip
04-05
在VIVADO HLS上使用xfopencv库的工程，详细参考https://blog.csdn.net/qq_23379273/article/details/88881615
HLS第四十课（xfopencv，常用的imgproc函数）
Huskar_Liu的博客
11-10 1051
xfopencv提供了一些常用的算法函数，用于简化程序的编写。
Zynq开发-使用PYNQ快速入门摄像头MIPI驱动(OV5640)-overlay设计
最新发布
hi94的博客
05-12 1029
本文分享了如何利用PYNQ快速入门摄像头MIPI驱动（OV5640）的过程。通过Vivado设计的overlay，演示了MIPI驱动的完整链路。文章着重介绍了MIPI子系统的构建，包括MIPI PHY、MIPI CSI-2 Rx Controller和Video Format Bridge的设置。另外，还介绍了去马赛克模块的驱动和AXI_IIC的配置。文章指出了一些注意事项，如IIC接口速度的设置、传感器地址的解释以及中断控制器的连接方式。
HLS第三十七课（基于xfopencv实现图像处理）
Huskar_Liu的博客
11-04 2343
HLS Videolib能够实现的功能，xfopencv也都能实现。 下面重点实现几个之前的例子，看看从videolib移植到xfopencv需要注意哪些要点。
xilinx xfopencv例程学习笔记
qq_42724402的博客
04-10 3436
考虑到有别的网友会检索到这个笔记，说明一下，笔记中PL/PS定义在硬件加速函数那块可能不大准确，应该说是在硬件内存中的‘不是SDSCC编译器’与‘是SDSCC编译器’。。。。。。。。。凑合理解。。。 xfopencv--examples 第一个例程学习accumulate 调用sd卡图片到PL中 int main(int argc, char** argv) { if (argc !...
【xfopencv】在vivadoHLS上用xfopencv库编写灰度伪彩色图 彩虹图转换IP核
Taneeyo的博客
04-12 759
简介 首先其实彩虹图就是灰度图按照对应关系 灰度0-255 转换为RGB：红、橙、黄、绿、青、蓝 由于在xfopencv中的xf::Mat这个类型没有at方法，则我们需要编写一个读写Mat结构的方法。具体分析： 一个读灰度图像素值的方法 一个写RGB图像素值的方法 一个转换算法 具体分析 1.一个读灰度图像素值的方法 首先我们知道Mat存灰度就是一个数据单元存放一个对应的0-255的值，类型是uchar 那么我们的读取要从2维转换到1维上。因为在内存中Mat的存放是一维的，按行存储。 则我们用 x，y坐
hls之xfopencv
han422858897的博客
11-30 1782
hls之xfopencv1.为什么要引入xfopencv2.软件环境3.下载4.使用（xfopencv/examples/canny）综合以及C仿真 1.为什么要引入xfopencv vivado本身集成了opencv库以及hls视频库了，opencv不能被综合导出为RTL电路，hls视频库的功能有所欠缺，因此引入xfopencv作为既可以被综合导出为RTL电路，也能够实现opencv丰富的功能。 2.软件环境 vivado 2019.1，包含vivado，hls，以及SDSOC套件。 3.下载 1.打开g
Xilinx.zip_HLS VIVADO_vivado_vivado_hls_xilinx hls_xilinx HLS
07-15
XILINX大讲堂、十招加速Vivado IPI设计、Vivado HLS 中指针作为top 函数参数的处理、Vivado HLS 中的浮点设计编码风格与技巧、编写高效Vivado HLS 工程testbench 的三个要素
Xilinx_Vivado_SDK_2019.1下载链接.txt
03-04
该版本中支持以下生产器件： 航天级 Kintex UltraScale：- XQRKU060 XA Kintex-7：- XA7K160T Virtex UltraScale+ HBM (-3)：- XCVU31P、XCVU33P、XCVU35P、XCVU37P
VivadoHLS.rar_HLS_hls 图像_vivado_vivado hls resize_vivado图像
07-14
vivado_hls的嵌入式实时图像处理系统的实现，非常有用的文档
Xilinx_vivado_licence_licence_vivado16.4_
10-03
Xilinx Vivado是一款由Xilinx公司开发的综合型设计环境，专为FPGA（Field-Programmable Gate Array）和SoC（System on Chip）设计而设计。Vivado提供了全面的工具集，包括硬件描述语言编译器、逻辑综合器、仿真器、...
gate_test.zip_HLS VIVADO_vivado hls_应用HLS优化封装gate逻辑实现
07-13
使用vivado hls 对GATE代码进行封装，主要调试stream接口
ZYNQ学习之路19.在SDx中使用xfOpenCV图像加速处理
亦梦云烟的博客
04-01 1829
简介 Xilinx的reVISION栈包含了一系列开发平台、算法和应用的开发资源，它支持流行的神经网络包括AlexNet, GoogleLeNet, VGG, SSD和FCN等，并且该视觉库提供了用于创建和实现CNN神经网络层的库，机器学习的元素被实现为一系列硬件加速的函数库，在应用开发层，Xilinx提供了标准的框架和库包括Caffe和OpenCV, reVISION栈同时也提供了第三方平台的开发平台，包括很多的传感器。 xfOpenCV是使用Xilinx SoC和FPGA优化硬件加速的OpenCV函
HLS第三课（xfopencv axis axim ）
Huskar_Liu的博客
07-16 1007
在C++中，template是在H文件中定义的。 先来看看axim_read.h文件的编写。 首先是包含各种需要的头文件，如前所述， 1）C系统头文件 2）HLS相关头文件 3）XFOPENCV相关头文件 #include <stdio.h> #include <stdlib.h> #include <stdint.h> #include "ap_int.h" #include "hls_stream.h" #include "xf_config_params.h"
ov5640_hdmi
m0_74221172的博客
02-26 774
本文介绍了如何通过ov5640摄像头有采集图像，并通过hdmi线显示在屏幕上
HLS第二课（xfopencv Mat）
Huskar_Liu的博客
07-16 2163
xfopencv API Reference：https://www.xilinx.com/html_docs/xilinx2017_1/sdsoc_doc/topics/xfopencv-overview/c-xfopencv-overview.html ++++++++++++++++++++++++++++++++++++++++++++++++++++ xf::Mat是一个模板类，用作存储图像数据及其属性的容器。 xf::Mat图像容器类类似于OpenCV库的cv::Mat类。 xf::Mat不能
OV5640摄像头模块FPGA驱动及HDMI显示
热门推荐
dongze2的博客
06-04 1万+
本设计用到的FPGA开发板是Digilent Nexys_Video 开发板,程序的基础是正点原子为其FPGA产品提供的驱动程序，由于板子硬件的不同，我做了一些改动，使之能在Nexys_Video上运行，正点原子程序在其官网可以下载。HDMI驱动用的是Digilent提供的IP核，在其官网可以下载。 vivado 版本 2018.1 摄像头用的是这个 首先用Clocking Wizard...
xilinx hls 直方图均衡
07-27
Xilinx HLS（High-Level Synthesis，高级综合）是一种将高级语言（如C/C++）代码转化为硬件描述语言（如VHDL或Verilog）的工具。它可以帮助开发者将算法设计转换为FPGA硬件的实现。 直方图均衡（Histogram Equalization）是一种用于图像增强的方法，通过调整图像亮度分布，从而增加图像的对比度和细节。在图像处理中，直方图是描述图像中每个像素灰度级别出现频率的统计图。直方图均衡通过将图像的直方图拉伸到整个灰度级范围来提高图像质量。 在使用Xilinx HLS进行直方图均衡的时候，可以通过以下步骤实现： 1. 首先，将图像数据加载到FPGA的内存中，将其存储为数组的形式。 2. 编写C/C++代码来实现直方图均衡算法。这个算法将对图像进行处理，使其灰度级分布更加均匀。 3. 使用Xilinx HLS将C/C++代码转化为硬件描述语言（如VHDL或Verilog），生成对应的硬件描述文件。 4. 进行硬件级综合和优化，将生成的硬件描述文件综合为具体的硬件电路。 5. 将综合后的电路下载到FPGA芯片中运行。 通过以上步骤，利用Xilinx HLS进行直方图均衡的算法加速，可以在FPGA上实现高效的图像增强功能。同时，使用Xilinx HLS进行开发，开发者可以更加便捷地实现算法设计与硬件实现之间的转换。这样的方法可以提高图像处理的速度和效果，适用于各种需要进行即时图像处理的应用场景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值