【xilinx xfopencv】Vivado_HLS_ov5640_threshold_hdmi（图像二值化）第二部分

最新推荐文章于 2024-05-02 17:01:37 发布
最新推荐文章于 2024-05-02 17:01:37 发布
阅读量797 收藏 5
点赞数
分类专栏： Vivado_HLS_图像处理 文章标签： fpga开发 opencv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49474265/article/details/124910560
版权

写在前面

本人是参考赛灵思官方文档核例程、网上相关教程和内容，所有参考、转载会标明出处，希望文章对大家有所帮助，感谢各位！

创建项目、添加示例代码和Project Settings等操作请参考本人其他文章，链接：https://blog.csdn.net/m0_49474265/article/details/123759085

使用到AXI，需要修改 xf_headers.h 和 xf_config_params.h 文件，可参考下载的xfopencv库里的HLS_Use_Model，或者参考本人的文章，链接：https://blog.csdn.net/m0_49474265/article/details/124106562

目的

使用 Vivado HLS 实现一个图像处理的 IP 核，该 IP 核能利用 xfopencv 将 OV5640 摄像头产生的 RGB 彩色图像转换成灰度图像，进一步利用大津法实现二值化图像，并在 Vivado 中对 IP 核进行验证，最后通过 HDMI 实时显示。

介绍

在第一部分已经完成仿真的部分，第二部分主要完成HLS综合、IP核的导出与验证。自己在实验的过程中，在文章下面 Part 2 想使用threshold 函数调用 otsuthreshold 函数生成的阈值进行二值化，虽然仿真验证通过，但是IP核验证并未成功，目前正在找原因。Part 1 为直接利用threshold 函数进行二值化处理（thresh=104,maxval=245）,IP核验证成功。

工具

  • Vivado HLS 2019.1
  • Vivado 2019.1
  • Xilinx SDK 2019.1
  • 启明星开发板（XC7Z010clg400-1）及配套下载器等
  • 正点原子OV5640摄像头模块
  • 显示屏及HDMI线

Part 1

综合（Synthesis）

代码请参考Part 2，删除与 otsuthreshold 相关的文件，并在xf_threshold_config.h 增加了2行宏定义，如下：

#define THRESH  104
#define MAXVAL 	245

综合报告如下：

在这里插入图片描述

Create Block Design

可以另存之前的项目工程，添加IP核等步骤不再赘述。

在这里插入图片描述

Launch SDK

main.c 代码如下：


#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include "xil_types.h"
#include "xil_cache.h"
#include "xparameters.h"
#include "xaxivdma.h"
#include "xaxivdma_i.h"
#include "display_ctrl_hdmi/display_ctrl.h"
#include "vdma_api/vdma_api.h"
#include "emio_sccb_cfg/emio_sccb_cfg.h"
#include "ov5640/ov5640_init.h"
#include "xotsuthreshold_ip_accel.h"//****需要修改 by Du****改成IP核的名字
//宏定义
#define DYNCLK_BASEADDR  XPAR_AXI_DYNCLK_0_BASEADDR  //动态时钟基地址
#define VDMA_ID          XPAR_AXIVDMA_0_DEVICE_ID    //VDMA器件ID
#define DISP_VTC_ID      XPAR_VTC_0_DEVICE_ID        //VTC器件ID

//全局变量
//frame buffer的起始地址
unsigned int const frame_buffer_addr = (XPAR_PS7_DDR_0_S_AXI_BASEADDR
										+ 0x1000000);
XAxiVdma     vdma;
DisplayCtrl  dispCtrl;
VideoMode    vd_mode;
XOtsuthreshold_ip_accel otsuthreshold_ip_accel_inst;//***需要修改 by Du****

int main(void)
{
	u32 status;
	u16 cmos_h_pixel;                    //ov5640 DVP 输出水平像素点数
	u16 cmos_v_pixel;                    //ov5640 DVP 输出垂直像素点数
	u16 total_h_pixel;                   //ov5640 水平总像素大小
	u16 total_v_pixel;                   //ov5640 垂直总像素大小

	cmos_h_pixel = 1280;                 //设置OV5640输出分辨率为1280*720
	cmos_v_pixel = 720;
	total_h_pixel = 2570;
	total_v_pixel = 980;

	emio_init();                         //初始化EMIO
	status = ov5640_init( cmos_h_pixel,  //初始化ov5640
						  cmos_v_pixel,
						 total_h_pixel,
						 total_v_pixel);
	if(status == 0)
		xil_printf("OV5640 detected successful!\r\n");
	else
		xil_printf("OV5640 detected failed!\r\n");

	vd_mode = VMODE_1280x720;

	//
	XOtsuthreshold_ip_accel_Initialize(&otsuthreshold_ip_accel_inst, XPAR_XOTSUTHRESHOLD_IP_ACCEL_0_DEVICE_ID);//****需要修改 by Du****ip核名称改大写
	//配置的行数
	XOtsuthreshold_ip_accel_Set_height(&otsuthreshold_ip_accel_inst, vd_mode.height);
	//配置的列数
	XOtsuthreshold_ip_accel_Set_width(&otsuthreshold_ip_accel_inst, vd_mode.width);

	//配置VDMA
	run_vdma_frame_buffer(&vdma, VDMA_ID, vd_mode.width, vd_mode.height,
							frame_buffer_addr,0,0,BOTH);
    //初始化Display controller
	DisplayInitialize(&dispCtrl, DISP_VTC_ID, DYNCLK_BASEADDR);
    //设置VideoMode
	DisplaySetMode(&dispCtrl, &vd_mode);
	DisplayStart(&dispCtrl);

    return 0;
}

在这里插入图片描述

实验结果

threshold

Part 2

综合（Synthesis）

代码

otsuthreshold_ip_accel 代码如下：


#include "xf_threshold_config.h"
#include "xf_otsuthreshold_config.h"
#include "xf_rgb2gray_config.h"
//typedef hls::stream< ap_axiu<24,1,1,1> > AXI_STREAM_24;

void cvtcolor_rgb2gray(xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> &imgInput,xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPC1> &imgOutput);
void cvtcolor_gray2rgb(xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPC1> &imgInput,xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> &imgOutput);
void otsuthreshold_accel(xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPPC> &imgInput, unsigned char &Otsuval);
void threshold_accel(xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPIX> &_src,xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPIX> &_dst,unsigned char thresh,unsigned char maxval);

void otsuthreshold_ip_accel(hls::stream< ap_axiu<24,1,1,1> >& _src,hls::stream< ap_axiu<24,1,1,1> >& _dst,int height,int width,uint8_t maxval)
{

#pragma HLS INTERFACE axis register both  port=_src
#pragma HLS INTERFACE axis register both  port=_dst
#pragma HLS INTERFACE s_axilite port=height
#pragma HLS INTERFACE s_axilite port=width
#pragma HLS INTERFACE s_axilite port=maxval
#pragma HLS INTERFACE ap_ctrl_none port=return

	uint8_t Otsuval;

	 xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> imgInput1(height,width);
	 xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPC1> imgGrayIn(height,width);
	 xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPC1> imgGrayOut(height,width);
	 xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> imgOutput1(height,width);

#pragma HLS stream variable=imgInput1.data dim=1 depth=1
#pragma HLS stream variable=imgGrayIn.data dim=1 depth=1
#pragma HLS stream variable=imgGrayOut.data dim=1 depth=1
#pragma HLS stream variable=imgOutput1.data dim=1 depth=1

#pragma HLS dataflow

	xf::AXIvideo2xfMat(_src, imgInput1);

	cvtcolor_rgb2gray(imgInput1,imgGrayIn);

	otsuthreshold_accel(imgGrayIn,Otsuval);

	threshold_accel(imgGrayIn,imgGrayOut,Otsuval,MAXVAL);

	cvtcolor_gray2rgb(imgGrayOut,imgOutput1);

	xf::xfMat2AXIvideo(imgOutput1, _dst);

}

xf_config_params.h 代码如下：


/*  set the optimisation type*/

#define NO  1  // Normal Operation
#define RO  0 // Resource Optimized


/*  set the type of thresholding*/
#define THRESH_TYPE XF_THRESHOLD_TYPE_BINARY

//added parts by du
// Set Conversion type
#define	RGB2GRAY  0
#define GRAY2RGB  0

xf_headers.h 代码如下：


#ifndef _XF_HEADERS_H_
#define _XF_HEADERS_H_

#include <stdio.h>
#include <stdlib.h>
//added parts by du
#include <stdint.h>
#include "ap_int.h"
#include "hls_stream.h"

#if __SDSCC__
#undef __ARM_NEON__
#undef __ARM_NEON
#include "opencv2/opencv.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
#define __ARM_NEON__
#define __ARM_NEON
#else
#include "opencv2/opencv.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
#endif


#if __SDSCC__
#include "sds_lib.h"
#define TIME_STAMP_INIT  unsigned int clock_start, clock_end;  clock_start = sds_clock_counter();
#define TIME_STAMP  { clock_end = sds_clock_counter(); printf("elapsed time %lu \n", clock_end-clock_start); clock_start = sds_clock_counter();  }
#endif

#include "common/xf_sw_utils.h"
//added parts by du
#include "common/xf_axi.h"

#endif//_XF_HEADERS_H_

xf_threshold_config.h 代码如下：


#ifndef _XF_THRESHOLD_CONFIG_H_
#define _XF_THRESHOLD_CONFIG_H_

#include "hls_stream.h"
#include "ap_int.h"

#include "common/xf_common.h"
#include "common/xf_utility.h"

#include "imgproc/xf_threshold.hpp"
#include "xf_config_params.h"

typedef ap_uint<8>      ap_uint8_t;
typedef ap_uint<64>      ap_uint64_t;


//modified part by du
//config width and height
#define WIDTH 	1024
#define HEIGHT	800
#define MAXVAL 	200

#if RO
#define NPIX				XF_NPPC8
#endif                      
#if NO                      
#define NPIX				XF_NPPC1
#endif


void threshold_accel(xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPIX> &_src,xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPIX> &_dst,unsigned char thresh,unsigned char maxval);

#endif  // end of _XF_THRESHOLD_CONFIG_H_

xf_otsuthreshold_config.h 代码如下：


#ifndef _XF_OTSUTHRESHOLD_CONFIG_H_
#define _XF_OTSUTHRESHOLD_CONFIG_H_

#include "ap_int.h"
#include "hls_stream.h"
#include "common/xf_common.h"
#include "common/xf_utility.h"
#include "common/xf_infra.h"//added part by du
#include "imgproc/xf_otsuthreshold.hpp"
#include "xf_config_params.h"

typedef unsigned int 	uint32_t;
typedef unsigned short  uint16_t;
//added part by du
typedef unsigned char 	uint8_t;//Unsigned char means unsigned, representing a range of 0~255(0~2^8-1)


//modified part by du
//config width and height
#define WIDTH 	1024
#define HEIGHT	800


#if NO
#define NPPC XF_NPPC1
#define IN_TYPE		ap_uint<8>
#define NPC1 0
#endif

#if RO
#define NPPC XF_NPPC8
#define IN_TYPE		ap_uint<64>
#define NPC1 3
#endif

void otsuthreshold_accel(xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPPC> &imgInput, unsigned char &Otsuval);

void otsuthreshold_ip_accel(hls::stream< ap_axiu<24,1,1,1> >& _src,hls::stream< ap_axiu<24,1,1,1> >& _dst,int height,int width,uint8_t maxval);

#endif

xf_rgb2gray_config.h 代码如下：


#ifndef _XF_RGB2GRAY_CONFIG_H_
#define _XF_RGB2GRAY_CONFIG_H_

/*与HLS相关的头文件，需要包含HLS的include的path*/
#include "hls_stream.h"
#include "ap_int.h"

/*与xfopencv相关的头文件*/
#include "common/xf_common.h"
#include "common/xf_utility.h"
//#include "common/xf_infra.h"
/*与图像处理相关的头文件*/
#include "imgproc/xf_cvt_color.hpp"
#include "imgproc/xf_cvt_color_1.hpp"
//#include "imgproc/xf_rgb2hsv.hpp"
//#include "imgproc/xf_bgr2hsv.hpp"
// Has to be set when synthesizing

//modified part by du
//config width and height
#define WIDTH 	1024
#define HEIGHT	800

/*xf_config_params.h头文件针对下面的设置*/
#include "xf_config_params.h"

#if NO
#define NPC1 XF_NPPC1
#else
#define NPC1 XF_NPPC8
#endif

//void cvtcolor_rgb2gray(xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> &imgInput,xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPC1> &imgOutput);
//void cvtcolor_gray2rgb(xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPC1> &imgInput,xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> &imgOutput);

//modified part by du
//void ov5640_rgb2gray(hls::stream< ap_axiu<24,1,1,1> >& _src,hls::stream< ap_axiu<24,1,1,1> >& _dst,int height,int width);

#endif // _XF_RGB2GRAY_CONFIG_H_

其余代码如下：

//xf_otsuthreshold_accel.cpp
#include "xf_otsuthreshold_config.h"

void otsuthreshold_accel(xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPPC> &imgInput, unsigned char &Otsuval)
{
		xf::OtsuThreshold<XF_8UC1, HEIGHT, WIDTH, NPPC>(imgInput, Otsuval);
}

//xf_rgb2gray_accel.cpp
#include "xf_rgb2gray_config.h"

void cvtcolor_rgb2gray(xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> &imgInput,xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPC1> &imgOutput )
	{
		xf::rgb2gray<XF_8UC3,XF_8UC1, HEIGHT, WIDTH, NPC1>(imgInput, imgOutput);
	}
void cvtcolor_gray2rgb(xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPC1> &imgInput,xf::Mat<XF_8UC3, HEIGHT, WIDTH, NPC1> &imgOutput )
	{
		xf::gray2rgb<XF_8UC1,XF_8UC3, HEIGHT, WIDTH, NPC1>(imgInput, imgOutput);
	}

//xf_threshold_accel.cpp
#include "xf_threshold_config.h"

void threshold_accel(xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPIX> &_src,xf::Mat<XF_8UC1, HEIGHT, WIDTH, NPIX> &_dst,unsigned char thresh,unsigned char maxval)
{
	xf::Threshold<THRESH_TYPE,XF_8UC1,HEIGHT, WIDTH,NPIX>(_src, _dst,thresh,maxval);
}

综合结果

综合报告如下：

在这里插入图片描述

总结

对于Part 2 出现的问题，可能自己的功力还不够，继续努力…

晚熟的人_杜小杜
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Xilinx_Vivado_SDK_2019.1下载链接.txt
03-04
该版本中支持以下生产器件： 航天级 Kintex UltraScale：- XQRKU060 XA Kintex-7：- XA7K160T Virtex UltraScale+ HBM (-3)：- XCVU31P、XCVU33P、XCVU35P、XCVU37P
基于Vivado图像算法处理的仿真搭建
05-16
在Vivado中通过仿真处理图像算法，提高开发速度，减少对于硬件的依赖
在vivado2019.2平台中通过Verilog实现HDMI视频传输接口+操作视频
06-09
1.领域：FPGA，HDMI视频传输接口 2.内容：在vivado2019.2平台中通过Verilog实现HDMI视频传输接口+操作视频 3.用处：用于HDMI视频传输接口编程学习 4.指向人群：本科，硕士，博士等教研使用 5.运行注意事项： 使用vivado2019.2或者更高版本测试，用软件打开FPGA工程，然后参考提供的操作录像视频跟着操作。 工程路径必须是英文，不能中文。
【xilinx xfopencv】Vivado_HLS_ov5640_rgb2gray_hdmi 第一部分
m0_49474265的博客
04-12 3334
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录目的工具一、创建项目二、使用步骤1.引入库2.读入数据总结 目的 使用 Vivado HLS 实现一个图像处理的 IP 核，该 IP 核能利用 xfopencv 将 OV5640 摄像头产生的 RGB 彩色图像转换成灰度图像，在 Vivado 中对 IP 核进行验证。最后通过 HDMI 实时显示。 工具 1.Vivado HLS 2019.1 2.xfopencv-2019.1_release.zip 一、创建项目 打开Viv.
分辨率、刷新率、像素时钟速率、通道速率（dsi）
z1236464的博客
09-07 2827
分为垂直刷新率和水平刷新率，一般提到的刷新率通常指垂直刷新率。垂直刷新率表示 屏幕的图象每秒钟重绘多少次，也就是每秒钟屏幕刷新的次数，以Hz(赫兹)为单位。刷新率越高越好，图象就越稳定，图像显示就越自然清晰，对眼睛的影响也越小。越低，图像闪烁和抖动的就越厉害，眼睛疲劳得就越快。一般来说，如能达到80Hz以上的刷新频率就可完全消除图像闪烁和抖动感。
FPGA采集OV5640摄像头HDMI输出，代码逐行讲解，提供验证过的工程源码，可直接拿去用
qq_41667729的博客
09-22 2124
FPGA采集OV5640摄像头HDMI输出，代码逐行讲解，提供验证过的工程源码，可直接拿去用
HDMI接口介绍及其代码
m0_47220307的博客
09-12 2846
将图片转为coe文件存入ROM中，从ROM中读取24位真彩数据通过HDMI进行显示，显示的大小设置为1280*1024，
Xilinx(AMD) vivado软件IP核及license许可文件简介
MmikerR的专栏
07-21 7734
Vivado软件作为Xilinx(AMD) FPGA器件重要的开发设计软件，包含了功能丰富IP核。这些IP核按设计厂商可分为Xilinx(AMD)自有IP和第三方IP，进一步又可分为免费IP和收费IP两类。收费IP核都需要相应的license许可文件才能使用。
FPGA将图像从BRAM输出到HDMI的例程（附GitHub Vivado工程）
跳跳骑士的博客
02-05 511
将数据从FPGA的BRAM输出到HDMI接口的测试例程，本项目为一个Vivado工程
fpga摄像头模块_【正点原子FPGA连载】第三十八章 LCD显示实验-摘自【正点原子】开拓者 FPGA 开发指南...
weixin_39647180的博客
11-30 846
1）实验平台：正点原子开拓者FPGA 开发板2）摘自《开拓者FPGA开发指南》关注官方微信号公众号，获取更多资料：正点原子3）全套实验源码+手册+视频下载地址：http://www.openedv.com/thread-13912-1-1.html第三十八章 OV5640摄像头RGB TFT-LCD显示实验在OV5640摄像头VGA显示实验中，我们成功地在VGA显示器上实时显示出了摄像头采集的图像...
Xilinx.zip_HLS VIVADO_vivado_vivado_hls_xilinx hls_xilinx HLS
07-15
XILINX大讲堂、十招加速Vivado IPI设计、Vivado HLS 中指针作为top 函数参数的处理、Vivado HLS 中的浮点设计编码风格与技巧、编写高效Vivado HLS 工程testbench 的三个要素
VivadoHLS.rar_HLS_hls 图像_vivado_vivado hls resize_vivado图像
07-14
vivado_hls的嵌入式实时图像处理系统的实现，非常有用的文档
gate_test.zip_HLS VIVADO_vivado hls_应用HLS优化封装gate逻辑实现
07-13
使用vivado hls 对GATE代码进行封装，主要调试stream接口
Xilinx_Vivado_SDK_Web_2019.1_0524_1430_Win64.exe
06-28
下载请注意操作系统！ Vivado HLx 2019.1：WebPACK 和版本 —Windows 自解压 Web 安装程序 (EXE - 64.62 MB)
PotatoPie 4.0 实验教程(31) —— FPGA实现摄像头图像高斯滤波
ICMakerChipdebug的博客
04-27 906
高斯滤波是一种常见的图像处理技术，用于去除图像中的噪声和平滑图像。它的原理基于统计学中的高斯分布（也称为正态分布）。在高斯滤波中，一个二维的高斯核函数被用来对图像中的每个像素进行加权平均。这个高斯核函数定义了一个权重分布，使得距离中心像素越远的像素在平均过程中具有较小的权重，而距离中心像素越近的像素具有较大的权重。这种权重的分布导致了一个平滑的效果，因为图像中每个像素的值都是由周围像素的加权平均所决定的。高斯滤波的主要优点是能够有效地去除高斯噪声和其他类型的噪声，同时保持图像的边缘和细节。
万兆以太网MAC设计（11）完整UDP协议栈仿真
m0_56222647的博客
04-28 723
目前除了巨帧处理逻辑之外，所有的准备工作都已经结束了，先进行整体的功能验证。
[HDLBits] Sim/circuit10
烧烤团子
05-02 222
【代码】[HDLBits] Sim/circuit10。
[HDLBits] Tb/clock
最新发布
烧烤团子
05-02 142
【代码】[HDLBits] Tb/clock。
Xinlinx FPGA内的存储器BRAM全解
qq_43433724的博客
04-23 1581
Xilinx 7系列fpga中的块RAM存储高达36 Kb的数据，可以配置为两个独立的18 Kb BRAM或一个36 Kb RAM。每个36Kb块RAM也可以配置成深度×宽度为64K × 1(当与相邻的36KB块RAM级联时)、32K × 1、16K × 2、8K × 4、4K × 9、2K × 18、1K × 36或512 × 72的简单双端口模式。每个18Kb块RAM可以配置成深度×宽度为16K × 1、8K × 2、4K × 4、2K × 9、1K × 18或512 × 36的简单双端口模式。
vivado_hls 高斯图像
07-04
综上所述，使用vivado_hls实现高斯图像处理需要编写高斯模糊算法的C/C++函数，加载到vivado_hls进行优化和综合，然后在FPGA上执行实际的图像处理，并获取结果。这种方法可以确保在FPGA上高效地处理图像，并获得平滑...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值