Vivado HLS实现MNIST手写数字识别（2）

于 2023-10-26 16:40:28 发布
阅读量327 收藏 2
点赞数 2
分类专栏： ZYNQ实现卷积神经网络 文章标签： 计算机视觉 深度学习 神经网络 fpga开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Legendyyy/article/details/134057164
版权

上一节介绍了如何使用搭建好的卷积和池化模块实现对SD卡中存储的手写数字的图像进行识别，这一节将介绍如何对摄像头采集到的图像数据进行手写数字的识别。

一、HLS图像处理部分

        卷积和池化模块的输入是28*28的单通道灰度图，而ov5640摄像头采集到的是1024*768的三通道彩色图。这里首先对摄像头采集到的画面进行裁剪，考虑到实际手写数字在采集图像中的位置，截取位于图像中心112*112大小的图片；接着对图像进行灰度化和二值化的操作，使得数据格式与训练输入相符合；再对图片大小进行缩放，将112*112大小的灰度图缩放到28*28大小。

void doKernel(AXI_STREAM & inStream,AXI_STREAM & outStream,unsigned char result[],int num)
{
#pragma HLS INTERFACE m_axi depth=4294967295 port=result offset=slave
#pragma HLS INTERFACE s_axilite port=return bundle=CTRL_BUS
#pragma HLS INTERFACE axis register both port=outStream
#pragma HLS INTERFACE axis register both port=inStream
#pragma HLS INTERFACE s_axilite port=num

	unsigned char tmp,cnt;
	unsigned char pix;
	unsigned char valOut_m=255;
	unsigned char valOut_z=0;
	RGB_image image1(4*MINST_WIDTH,4*MINST_WIDTH);
	Resize_image image2(MINST_WIDTH,MINST_WIDTH);
	Gray_image gray(MINST_WIDTH,MINST_WIDTH);

	uint_side_channel dataOutChannel;
	uint_side_channel currentChannel;


	for(int i = 0; i < (IMG_HEIGHT); i++ )
	{
		for(int j = 0; j < (IMG_WIDTH); j++)
		{
#pragma HLS PIPELINE
			currentChannel = inStream.read();
			hls::Scalar<3, unsigned char> pixel_val;
			if((i==(IMG_HEIGHT/2-2*MINST_WIDTH-1) || i==(IMG_HEIGHT/2+2*MINST_WIDTH)) && (j>=(IMG_WIDTH/2-2*MINST_WIDTH-1) && j<=(IMG_WIDTH/2+2*MINST_WIDTH)))
			{
				dataOutChannel.data = (valOut_m << 16) | (valOut_z << 8) | valOut_z;
			}
			else if((i>=(IMG_HEIGHT/2-2*MINST_WIDTH-1) && i<=(IMG_HEIGHT/2+2*MINST_WIDTH)) && (j==(IMG_WIDTH/2-2*MINST_WIDTH-1) || j==(IMG_WIDTH/2+2*MINST_WIDTH)))
			{
				dataOutChannel.data = (valOut_m << 16) | (valOut_z << 8) | valOut_z;
			}
			else
			{
				dataOutChannel.data = currentChannel.data;
			}
			if((i>=(IMG_HEIGHT/2-2*MINST_WIDTH) && i<=(IMG_HEIGHT/2+2*MINST_WIDTH-1)) && (j>=(IMG_WIDTH/2-2*MINST_WIDTH) && j<=(IMG_WIDTH/2+2*MINST_WIDTH-1)))
			{
				unsigned char R = currentChannel.data & 0xFF;
				unsigned char G = (currentChannel.data >> 8) & 0xFF;
				unsigned char B = (currentChannel.data >> 16) & 0xFF;
				pix = (R*76 + G*150 + B*30) >> 8;
				if(pix<16)
					pix=0;
				else if(pix<128)
					pix=pix>>3;
				else
					pix=255;
				dataOutChannel.data = (pix << 16) | (pix << 8) | pix;
				pixel_val.val[0] = pix;
				pixel_val.val[1] = pix;
				pixel_val.val[2] = pix;
				image1.write(pixel_val);
			}
			if(num<10){
				tmp = number[num][i][j/8];
				if(i<128 && (j-959)>0){
					if(tmp!=0){
						for(cnt=0;cnt<j%8;cnt++)
							tmp = tmp/2;
						if(tmp%2==1){
							dataOutChannel.data = (valOut_m << 16) | (valOut_z << 8) | valOut_z;
						}
					}
				}
			}

			dataOutChannel.dest = currentChannel.dest;
			dataOutChannel.id = currentChannel.id;
			dataOutChannel.keep = currentChannel.keep;
			dataOutChannel.strb = currentChannel.strb;
			dataOutChannel.user = currentChannel.user;
			dataOutChannel.last = currentChannel.last;
			outStream.write(dataOutChannel);
		}
	}
#pragma HLS dataflow
	hls::Resize(image1,image2,1);
	hls::CvtColor<HLS_BGR2GRAY>(image2,gray);
	hls::Mat2Array<MINST_WIDTH>(gray,result);
}

除了图像处理之外，这里还将识别出来的数字显示在屏幕上。同时为了提取图像处理后的结果，将result数组配置为m_axi类型。

二、Vivado系统搭建

这里将图像处理模块的输入连接摄像头模块的输出，图像处理模块的输出连接HDMI显示的输入。

三、Visit SDK设计

SDK的设计先启动初始化摄像头、图像处理模块以及卷积池化模块，接着初始化SD卡，读取卷积池化层的权值参数，最后将图像采集的结果输入到卷积池化模块输出结果。

#include <stdio.h>
#include "platform.h"
#include <stdlib.h>
#include <string.h>
#include "xil_types.h"
#include "xil_cache.h"
#include "xparameters.h"
#include "xaxivdma.h"
#include "xaxivdma_i.h"
#include "vdma_api/vdma_api.h"
#include "emio_sccb_cfg/emio_sccb_cfg.h"
#include "ov5640/ov5640_init.h"
#include "xdokernel.h"
#include "xil_printf.h"
#include "xil_cache.h"
#include "Convolution.h"
#include "Pool.h"
#include "sd.h"

#define HLS_VDMA_DEV_ID 		XPAR_AXI_VDMA_0_DEVICE_ID
#define DISP_VDMA_DEV_ID 		XPAR_AXI_VDMA_1_DEVICE_ID
#define DOKERNEL_DEV_ID 		XPAR_DOKERNEL_0_DEVICE_ID

#define HLS_BASE_ADDR			0x08000000
#define DISP_BASE_ADDR			0x03000000
#define SCREEN_X				1024
#define SCREEN_Y				768

static XAxiVdma     vdma;
static XDokernel dokernel;
static XDokernel_Config *dokernel_Cfg;

//Weight of Conv1
unsigned char orional_pic[28][28];
float image[28][28][1];
float W_conv1[3][3][1][12];
float b_conv1[12];
float h_conv1[28][28][12];
float h_pool1[14][14][12];

//Weight of Conv2
float W_conv2[3][3][12][24];
float b_conv2[24];
float h_conv2[14][14][24];
float h_pool2[7][7][24];

//Weight of FC1
float W_fc1[7*7*24][96];
float b_fc1[96];
float h_fc1[96];

//Weight of FC2
float W_fc2[96][10];
float b_fc2[10];
float h_fc2[10];

int main()
{
    init_platform();
    Xil_DCacheDisable();

    int i,j;

	u32 status;

	u16 cmos_h_pixel;
	u16 cmos_v_pixel;
	u16 total_h_pixel;
	u16 total_v_pixel;

	cmos_h_pixel = 1024;
	cmos_v_pixel = 768;
	total_h_pixel = 2570;
	total_v_pixel = 980;

	emio_init();

	status = ov5640_init( cmos_h_pixel,
						  cmos_v_pixel,
						 total_h_pixel,
						 total_v_pixel);
	if(status == 0)
		xil_printf("OV5640 detected successful!\r\n");
	else
		xil_printf("OV5640 detected failed!\r\n");

	dokernel_Cfg = XDokernel_LookupConfig(DOKERNEL_DEV_ID);
	status = XDokernel_CfgInitialize(&dokernel,dokernel_Cfg);
	if(status != XST_SUCCESS){
		printf("dokernel initialize failed! \n");
	}

    XConv xconv;
    if(XConv_Initialize(&xconv,XPAR_CONV_0_DEVICE_ID)!=XST_SUCCESS)
    	xil_printf("XConv device not found\r\n");

    XPool xpool;
    if(XPool_Initialize(&xpool,XPAR_POOL_0_DEVICE_ID)!=XST_SUCCESS)
    	xil_printf("XPool device not found\r\n");
    //初始化SD卡
    SD_Init();
    print("Hello World\r\n");

    LoadWeight("W_conv1.bin",3*3*1*12,W_conv1[0][0][0]);
    LoadWeight("b_conv1.bin",12,b_conv1);

    LoadWeight("W_conv2.bin",3*3*12*24,W_conv2[0][0][0]);
    LoadWeight("b_conv2.bin",24,b_conv2);

    LoadWeight("W_fc1.bin",7*7*24*96,W_fc1[0]);
    LoadWeight("b_fc1.bin",96,b_fc1);

    LoadWeight("W_fc2.bin",96*10,W_fc2[0]);
    LoadWeight("b_fc2.bin",10,b_fc2);

	run_vdma_frame_buffer(&vdma, DISP_VDMA_DEV_ID, SCREEN_X, SCREEN_Y,
			DISP_BASE_ADDR,0,0,BOTH);
	run_vdma_frame_buffer(&vdma, HLS_VDMA_DEV_ID, SCREEN_X, SCREEN_Y,
			HLS_BASE_ADDR,0,0,BOTH);

    while(1)
    {
    	XDokernel_Set_result(&dokernel,(unsigned int)orional_pic);
    	XDokernel_Start(&dokernel);
    	while(!XDokernel_IsDone(&dokernel));
    	for(i=0;i<28;i++){
    		for(j=0;j<28;j++){
    			image[i][j][0] = 1-orional_pic[i][j]/255.0;
    		}
    	}

		//Conv1
		RunConv(&xconv,1,28,28,12,//CHin,Hin,Win,CHout
				3,3,1,1,1,1,//Kx,Ky,Sx,Sy,mode,relu_en
				image[0][0],W_conv1[0][0][0],b_conv1,h_conv1[0][0]);//feature_in,W,bias,feature_out
		RunPool(&xpool,12,28,28,//CHin,Hin,Win
				2,2,2,//Kx,Ky,mode
				h_conv1[0][0],h_pool1[0][0]);//feature_in,feature_out

		//Conv2
		RunConv(&xconv,12,14,14,24,//CHin,Hin,Win,CHout
				3,3,1,1,1,1,//Kx,Ky,Sx,Sy,mode,relu_en
				h_pool1[0][0],W_conv2[0][0][0],b_conv2,h_conv2[0][0]);//feature_in,W,bias,feature_out
		RunPool(&xpool,24,14,14,//CHin,Hin,Win
				2,2,2,//Kx,Ky,mode
				h_conv2[0][0],h_pool2[0][0]);//feature_in,feature_out

		//FC1
		RunConv(&xconv,24,7,7,96,//CHin,Hin,Win,CHout
				7,7,1,1,0,1,//Kx,Ky,Sx,Sy,mode,relu_en
				h_pool2[0][0],W_fc1[0],b_fc1,h_fc1);//feature_in,W,bias,feature_out

		//FC2
		RunConv(&xconv,96,1,1,10,//CHin,Hin,Win,CHout
				1,1,1,1,0,1,//Kx,Ky,Sx,Sy,mode,relu_en
				h_fc1,W_fc2[0],b_fc2,h_fc2);//feature_in,W,bias,feature_out
		//相当于softmax的效果
		float max=-10000;int num=0;
		for(int m=0;m<10;m++)
		{
			if(h_fc2[m]>max)
			{
				max=h_fc2[m];
				num=m;
			}
		}
		xil_printf("predicted=%d  \r\n",num);
    }

    cleanup_platform();
    return 0;
}

演示效果：b站

基尼台妹
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【FPGA教程案例100】深度学习1——基于CNN卷积神经网络的手写数字识别纯Verilog实现,使用mnist手写数字数据库
FPGA/MATLAB学习教程/源码/项目合作开发
10-12 5596
MNIST 数据库有一个 60,000 示例的训练集，还有一个 10,000 示例的测试集。这些数字已在大小方面规范化，在固定大小的图像中居中。如下图所示：我们任意选择0~9是个数字，将其转化为数字：0_0.txt1_0.txt2_0.txt3_0.txt4_0.txt5_0.txt6_0.txt7_0.txt8_0.txt9_0.txt。
基于VGG Simple手写体数字识别 FPGA实现 vivado
02-24
基于VGG Simple手写体数字识别的研究与FPGA实现 vivado的工程 大家自行学习
​基于FPGA的数字识别-实时视频处理的定点卷积神经网络实现
OpenFPGA的博客
12-06 3798
基于FPGA的数字识别-实时视频处理的定点卷积神经网络实现因为之前写的系列文章反应不是特别好，所以还是决定把一些复杂的东西简单化（尽量不写系列文章了），所以本篇文章将会完成所有的内容。整篇...
神经网络LeNet5的 的 FPGA RTL级实现 3
pengxiaoen的博客
03-12 1755
项目正式开始。一步步讲解这个模型怎么玩起来的。从C 到 matlab 到 FPGA ，三个平台联合起来完成这个 由 RTL 实现 CNN 的项目。 第一步，讲解深度学习模型在C中是怎么实现的，也就是梳理数据流怎么运算的。 第二步，讲解这个数据怎么使用，如何去一步步验证自己的设计。 第三步，根据前面的理解，在FPGA中如何去设计自己的代码。 首先，C的源码前面的文章中已经公开了，第一步当然是理解深度...
FPGA视觉从入门到放弃——小波矩与支持向量机刷MNIST
灰巧克力爱松露
06-21 1866
小波矩是FPGA板已有的模块，而深度学习框架下的MNIST的测试准确率可轻松地到99%以上。这里得到的效果不足以超越后者，由于内部影响依然做了该实验。所以，这些时间只够买个教训~
【FPGA】基于HLS的全连接神经网络手写体识别
qq_52445967的博客
08-16 6407
一 系统分析 1.1 全连接神经网络简介 二 通过HLS 编写全连接神经网络传入权重参数和偏置参数文件 2.1 获得图片、权重以及偏置的参数 2.2 编写C语言的全连接算子 2.3 Slave Interfaces 2.3.1 hls_avalon_slave_component 2.3.2 hls_avalon_slave_register_argument 2.3.3 slave_memory_argument 二 输入图片进行测试并生成IP 2.1 编译、测试 2.1.
用 verilog 实现 minst 数字识别
howard789的博客
12-17 2123
用verilog实现minst 的数字识别, 可以用modelsim看结果, 如果要部署到fpga上, PL的资源要非常非常多 代码下载:(包含5个仿真文件) 以数字2的仿真文件为例, 可以显示以下的结果,因为最终0-9里 数字2的得分最高,所以判断是2, 这里只是要判断最有可能的数字, 就不再化成几率的形式了 代码里的x坐标和y坐标,是假设在480*272的lcd上显示, 因为minst的像素是28*28的.我们假每4个LCD的像素点代表minst的一个点,那就是在中间红色的区域才是数字显.
FPGA实现mnist手写数字识别（软件部分）
南瑾与春风的博客
11-04 2196
FPGA实现mnist手写数字识别 ① 环境配置 ② 数据集及代码下载 ③ 代码操作 （1）训练模型 （2）权重输出 （3）关于灰度转换
基于FPGA的LSTM加速器设计（MNIST数据集为例）
纯分享，内容不固定，平时学到什么发什么（非涉密内容），没有积分的话下载内容可以在相关博客下评论区留邮箱，看见了都会发的。
02-02 9847
摘要 本文以MNIST手写数字识别任务为例，使用FPGA搭建了一个LSTM网络加速器，并选取MNIST数据集中的10张图片，通过vivado软件进行仿真验证。实验结果表明，本文设计的基于FPGA的LSTM网络加速器可以完成图片分类任务，其准确率为90%(10张图片，1张分类错误)。本文主要分为四部分，第一章为LSTM硬件加速器的原理介绍，第二章为软件部分的程序设计思路，第三章为FPGA硬件部分的设计思路，第四章对全文进行总结。本文所设计的LSTM硬件加速器的完整的工程文件已上传，并在文末对工程文件进行了简单
基于FPGA的数字识别的实现
热门推荐
baidu_34971492的博客
04-24 1万+
欢迎大家关注我的微信公众号：FPGA开源工作室 基于FPGA的数字识别的实现 1 背景知识 1.1基于FPGA的数字识别的方法 通常，针对印刷体数字识别使用的算法有：基于模版匹配的识别方法、基于BP 神经网络的识别方法、基于数字特征的识别方法等。下文将对这几种算法进行讨论以及比较。1>模版匹配法模版匹配法是一种被较早应用的数字识别算法，该算法的关键是对所要识别的...
QPSK-VivadoHLS:使用 Vivado HLS 实现的 QPSK 系统
06-06
QPSK-Vivado-HLS
Vivado HLS 教程.pptx
07-07
Vivado Hls C入门详解教程，附带有各个流程的使用和配合，并附有代码示例，可在Vivado 2017.4 上进行学习测试
FPGA MPSoC_XCZU2EG驱动LCD显示彩条（Vivado HLS实现）.zip
04-28
FPGA MPSoC XCZU2CG、XCZU2EG和XCZU4EV驱动程序。 Vivado HLS实现。 项目代码可顺利编译运行~
FPGA MPSoC_XCZU2EG控制LED灯闪烁（Vivado HLS实现）.zip
04-28
FPGA MPSoC XCZU2CG、XCZU2EG和XCZU4EV驱动程序。 Vivado HLS实现。 项目代码可顺利编译运行~
FPGA MPSoC_XCZU2CG驱动LCD显示彩条（Vivado HLS实现）.zip
04-28
FPGA MPSoC XCZU2CG、XCZU2EG和XCZU4EV驱动程序。 Vivado HLS实现。 项目代码可顺利编译运行~
Vivado HLS实现MNIST手写数字识别（1）
最新发布
Legendyyy的博客
10-08 515
ZYNQ7020通过卷积神经网络实现手写数字识别，通过读取sd卡中的测试用手写图片，将预测值与标签值进行比较，验证设计的可靠性
FPGA MPSoC_XCZU2CG控制LED灯闪烁（Vivado HLS实现）.zip
04-28
FPGA MPSoC XCZU2CG、XCZU2EG和XCZU4EV驱动程序。 Vivado HLS实现。 项目代码可顺利编译运行~
FPGA MPSoC_XCZU2EG实现按键控制LED灯（Vivado HLS实现）.zip
04-28
FPGA MPSoC XCZU2CG、XCZU2EG和XCZU4EV驱动程序。 Vivado HLS实现。 项目代码可顺利编译运行~
FPGA MPSoC_XCZU2CG实现按键控制LED灯（Vivado HLS实现）.zip
04-28
FPGA MPSoC XCZU2CG、XCZU2EG和XCZU4EV驱动程序。 Vivado HLS实现。 项目代码可顺利编译运行~
vivadoHLS实现手写数字识别
04-22
好的，我能为您解答如下： Vivado HLS是Xilinx提供的一种高层次综合工具，可以将C\C++代码转换成硬件描述语言VHDL或Verilog。手写数字识别是计算机视觉中的一个重要问题，可以使用卷积神经网络（CNN）来解决。使用Vivado HLS可以快速地将CNN模型转换为硬件实现，以实现高性能的手写数字识别系统。 需要注意的是，实现手写数字识别需要一定的硬件资源，如FPGA开发板等。同时，还需要进行模型训练、数据集收集等工作。希望我的回答对你有帮助，如果你还有其他问题，请随时问我。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值