卷积神经网络LeNet-5的RTL实现（四）

最新推荐文章于 2023-08-30 18:49:48 发布
最新推荐文章于 2023-08-30 18:49:48 发布
阅读量3.2k 收藏 30
点赞数 7
分类专栏： 硬件加速器和SoC设计 文章标签： 卷积神经网络 verilog
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/R1bosome/article/details/105800977
版权

卷积神经网络LeNet-5的RTL实现（四）：池化

前文回顾

上一期文章利用Shift RAM和卷积模块实现了卷积层电路，本期文章将讲解池化(pooling)电路的实现。池化和卷积都是窗口运算，因此均可以利用Shift RAM进行窗口构造，窗口有效性判断也与卷积层类似。

池化简介

池化又称下采样，即对窗口数据取平均或最大值，达到扩大感受野、减少参数等目的。LeNet-5网络结构中的池化层为平均池化，本工程则采用最大池化，取窗口最大值，如下图所示：

在这里插入图片描述

从图中可以看到池化运算与卷积运算窗口数据构造的相似之处，不同之处在于窗口内数据的具体运算。因此，池化层也使用Shift RAM进行窗口构造。

池化电路

接口

module MAXPOOLING
#(
	parameter DATA_WIDTH = 16,
	parameter INPUT_SIZE = 28,						//输入特征图尺寸
	parameter SCALE = 2								//池化规模
)
(
	input clk, 
	input rst_n,
	input clear,
	input ena,
	input [DATA_WIDTH*2-1:0]tap,					//池化Shift RAM输出
	output [DATA_WIDTH-1:0]pooling_out,				//池化结果输出
	output valid,									//池化结果有效性标志
	output done										//池化完成标志
);

数据输入

由于大部分池化层的窗口为2×2，这里没有做通用设计。除此之外，池化层的格式池化层的数据输入与卷积层相同，不再展开分析：

	//tap input
	assign m01 = tap[DATA_WIDTH*2-1:DATA_WIDTH];
	assign m11 = tap[DATA_WIDTH-1:0];
	
	//shift in
	always@(posedge clk or negedge rst_n)
		if(!rst_n) begin
			m00 <= 0;
			m10 <= 0;
		end
		else if(clear) begin
			m00 <= 0;
			m10 <= 0;			
		end
		else if(ena) begin
			m00 <= m01;
			m10 <= m11;
		end

池化运算逻辑

比较窗口内的4个数据，找到最大值并输出，就能实现窗口的最大池化，如下：

assign maxval = (m00 > m01) ? ((m00 > m10) ? ((m00 > m11) ? m00 : m11) : ((m10 > m11) ? m10 : m11)) : ((m01 > m10) ? ((m01 > m11) ? m01 : m11) : ((m10 > m11) ? m10 : m11));

计数信号

与卷积电路相同，这里使用了四个计数变量cnt、cnt_col、stride_valid_col、stride_valid_row。前两个用于输入像素位置统计，后两个用于stride间隔判断，代码如下：

	always @(posedge clk or negedge rst_n)
		if(!rst_n)
			cnt <= 0;
		else if(clear)
			cnt <= 0;
		else if(!ena)
			cnt <= cnt;
		else
			cnt <= cnt + 1;
			
	always @(posedge clk or negedge rst_n)
		if(!rst_n)
			cnt_col <= 0;
		else if(clear)
			cnt_col <= 0;
		else if(!ena)
			cnt_col <= cnt_col;
		else if(shift) begin
			if(cnt_col == INPUT_SIZE - 1)
				cnt_col <= 0;
			else
				cnt_col <= cnt_col + 1;
		end
	
	always @(posedge clk or negedge rst_n)
		if(!rst_n)
			stride_valid_col <= 0;
		else if(clear)
			stride_valid_col <= 0;
		else if(ena) begin
			if(shift) begin
				if(stride_valid_col < SCALE - 1)
					stride_valid_col <= stride_valid_col + 1;
				else
					stride_valid_col = 0;
			end
		end

	always @(posedge clk or negedge rst_n)
		if(!rst_n)
			stride_valid_row <= 0;
		else if(clear)
			stride_valid_row <= 0;
		else if(ena) begin
			if(cnt_col == INPUT_SIZE - 1) begin
				if(stride_valid_row < SCALE - 1)
					stride_valid_row <= stride_valid_row + 1;
				else
					stride_valid_row = 0;
			end
		end

池化数据有效性

与卷积电路一样，由于Shift RAM的无效输出，池化电路的输出也并非每个周期都有效。由于池化运算逻辑由纯组合电路构成，窗口数据的有效性即为池化电路输出的有效性。此外，还需注意池化窗口的stride为2，利用stride_valid_col和stride_valid_row进行判断。由于池化窗口为2×2，stride为2，Shift RAM的数据不会出现错行情况，只需要判断当前窗口是否在有效移动周期和是否在步长间隔。有效性判断代码如下：

	assign valid = (shift & stride_valid_col == 0 & stride_valid_row == 0) ? 1 : 0;
	
	always @(posedge clk or negedge rst_n)
	    if(!rst_n)
	    	shift <= 0;
	    else if(clear)
	    	shift <= 0;
	    else if(!ena)
	    	shift <= 0;
	    else if(cnt == INPUT_SIZE * SCALE + (SCALE - 1) - 1)
	    	shift <= 1;
		else if(cnt == INPUT_SIZE * SCALE + INPUT_SIZE * (INPUT_SIZE - SCALE + 1) - 1)
	    	shift <= 0;

电路完整代码

module MAXPOOLING
#(
	parameter DATA_WIDTH = 16,
	parameter INPUT_SIZE = 28,
	parameter SCALE = 2
)
(
	input clk, 
	input rst_n,
	input clear,
	input ena,
	input [DATA_WIDTH*2-1:0]tap,
	output [DATA_WIDTH-1:0]pooling_out,
	output valid,
	output done
);
	
	function integer clogb2 (input integer bit_depth);
	begin
		for(clogb2=0; bit_depth>0; clogb2=clogb2+1)
		bit_depth = bit_depth >> 1;
	end
	endfunction
	
	localparam CNT_BIT_NUM = clogb2((INPUT_SIZE * (INPUT_SIZE + 1)));
	localparam CNT_LINE_BIT_NUM = clogb2(INPUT_SIZE);
	
	wire [DATA_WIDTH-1:0]m01,m11;
	reg [DATA_WIDTH-1:0]m00, m10;
	wire [DATA_WIDTH-1:0]maxval;
	reg shift;
	reg[CNT_BIT_NUM-1:0] cnt;
	reg[CNT_LINE_BIT_NUM-1:0] cnt_col;
	reg[CNT_LINE_BIT_NUM-1:0] stride_valid_col;
	reg[CNT_LINE_BIT_NUM-1:0] stride_valid_row;
	
	assign m01 = tap[DATA_WIDTH*2-1:DATA_WIDTH];
	assign m11 = tap[DATA_WIDTH-1:0];
	
	//find max value in 2×2 window
	assign maxval = (m00 > m01) ? ((m00 > m10) ? ((m00 > m11) ? m00 : m11) : ((m10 > m11) ? m10 : m11)) : ((m01 > m10) ? ((m01 > m11) ? m01 : m11) : ((m10 > m11) ? m10 : m11));
	assign valid = (shift & stride_valid_col == 0 & stride_valid_row == 0) ? 1 : 0;
	assign done = (cnt == INPUT_SIZE * 2 + INPUT_SIZE * (INPUT_SIZE - SCALE + 1) - 1) ? 1 : 0;
	assign pooling_out = (valid) ? ((maxval > 0) ? maxval : 0) : 0;
	
	always@(posedge clk or negedge rst_n)
		if(!rst_n) begin
			m00 <= 0;
			m10 <= 0;
		end
		else if(clear) begin
			m00 <= 0;
			m10 <= 0;			
		end
		else if(ena) begin
			m00 <= m01;
			m10 <= m11;
		end
	
	always @(posedge clk or negedge rst_n)
		if(!rst_n)
			cnt <= 0;
		else if(clear)
			cnt <= 0;
		else if(!ena)
			cnt <= cnt;
		else
			cnt <= cnt + 1;
			
	always @(posedge clk or negedge rst_n)
		if(!rst_n)
			cnt_col <= 0;
		else if(clear)
			cnt_col <= 0;
		else if(!ena)
			cnt_col <= cnt_col;
		else if(shift) begin
			if(cnt_col == INPUT_SIZE - 1)
				cnt_col <= 0;
			else
				cnt_col <= cnt_col + 1;
		end
			
	always @(posedge clk or negedge rst_n)
		if(!rst_n)
			stride_valid_col <= 0;
		else if(clear)
			stride_valid_col <= 0;
		else if(ena) begin
			if(shift) begin
				if(stride_valid_col < SCALE - 1)
					stride_valid_col <= stride_valid_col + 1;
				else
					stride_valid_col = 0;
			end
		end
		
	always @(posedge clk or negedge rst_n)
		if(!rst_n)
			stride_valid_row <= 0;
		else if(clear)
			stride_valid_row <= 0;
		else if(ena) begin
			if(cnt_col == INPUT_SIZE - 1) begin
				if(stride_valid_row < SCALE - 1)
					stride_valid_row <= stride_valid_row + 1;
				else
					stride_valid_row = 0;
			end
		end
	
	always @(posedge clk or negedge rst_n)
	    if(!rst_n)
	    	shift <= 0;
	    else if(clear)
	    	shift <= 0;
	    else if(!ena)
	    	shift <= 0;
	    else if(cnt == INPUT_SIZE * SCALE + (SCALE - 1) - 1)
	    	shift <= 1;
		else if(cnt == INPUT_SIZE * SCALE + INPUT_SIZE * (INPUT_SIZE - SCALE + 1) - 1)
	    	shift <= 0;
	
endmodule

TestBench

`timescale 1ns / 1ns

module tb_maxpooling();

	parameter 	DATA_WIDTH = 16,
				FMAP_SIZE = 28,
				SCALE = 2;
   	
   	reg clk, rst_n;
   	reg ena;
   	reg[DATA_WIDTH-1:0] shift_in;
   	wire[DATA_WIDTH-1:0] shift_out;
   	wire[SCALE*DATA_WIDTH-1:0] tap;
   	wire[DATA_WIDTH-1:0] pooling_out;
   	wire pooling_done;
   	wire pooling_valid;
   	
	initial begin
		clk = 0;
		rst_n = 0;
		ena = 0;
		shift_in = 0;

		#100;
		rst_n = 1;
		ena = 1;
		repeat(FMAP_SIZE * FMAP_SIZE) begin
			#100
			clk = ~clk;
			#100
			clk = ~clk;			
			shift_in = shift_in + 1;
		end
		
		forever begin
			#100
			clk = ~clk;
			#100
			clk = ~clk;			
		end	
	end
	
	SHIFT_RAM
	# (	
		.DATA_WIDTH(DATA_WIDTH),
		.TAP_NUM(SCALE),
	   	.TAP_LENGTH(FMAP_SIZE)
	)
	u_shift_ram_1(
		.clk(clk),
		.rst_n(rst_n),
		.clear(),
		.ena(ena),
		.shift_in(shift_in),
		.shift_out(shift_out),
		.taps(tap)
	);
	
	MAXPOOLING
	#(
		.DATA_WIDTH(DATA_WIDTH),
		.FMAP_SIZE(FMAP_SIZE),
		.KERNEL_SIZE(SCALE),
		.STRIDE(1)
	)
	u_pooling
	(
		.clk(clk), 
		.rst_n(rst_n),
		.ena(ena),
		.clear(),
		.tap(tap),
		.pooling_out(pooling_out),
		.valid(pooling_valid),
		.done(pooling_done)
	);
	
endmodule

仿真结果

在这里插入图片描述
在这里插入图片描述

从波形图可以看到，池化电路的第一个有效输出为29，最后一个有效输出为783，分别对应第一个和最后一个窗口的数据最大值，在最后一个有效输出到来时将done信号拉高一个周期。

总结

本期文章介绍了池化电路的实现。池化电路与卷积电路对数据窗口的处理类似，具体处理细节可参考上期文章。下期文章将介绍全连接电路的实现。

KiosWong
关注
专栏目录
从零开始：使用Verilog硬件描述语言实现卷积神经网络的详细指南
qq_38334677的博客
09-22 1004
最后，我们将所有的模块整合到一个完整的CNN中。全连接层是神经网络的最后一层，它将前面的所有输出连接到一个或多个神经元，用于分类或其他任务。在这里，我们将实现一个简单的全连接层，它只有一个输出神经元，用于二分类。简单来说，CNN是一种特殊的神经网络结构，它特别适合处理具有网格结构的数据，如图像。与传统的编程语言不同，Verilog描述的是硬件的结构和行为，而不是按顺序执行的指令序列。需要注意的是，这只是一个简化的例子，真实的CNN可能会更加复杂。：为了简洁和清晰，本文中的代码可能不是最优的或最完整的实现。
优秀的 Verilog/FPGA开源项目介绍（十四）- 使用FPGA实现LeNet-5 深度神经网络模型...
OpenFPGA的博客
01-05 4111
优秀的 Verilog/FPGA开源项目介绍（十四）- 使用FPGA实现LeNet-5 深度神经网络模型简介LeNet-5：是Yann LeCun在1998年设计的用于手写数字识别的卷积神...
深度卷积神经网络的数字实现——二维卷积的纯数字电路实现（一）
隔壁old余的博客
10-31 2168
这是我2019.09这个月的项目任务。之前比较忙，现在以此文记录之。 这实际上是第一届复旦微电子设计大赛数字赛道的参赛题目。借此题可以主动对深度学习，机器学习进行学习了解，由于是零基础，所以都是重零开始，对于初学者，文中难免有些生僻概念，部分会给出参考文献。 此外，本次数字设计要求使用UVM平台进行设计的验证，故也可以借此机会入手UVM，毕竟对于数字IC设计来说，多掌握验证的知识，也是锦上添花。 ...
卷积神经网络LeNet-5的RTL实现（一）
R1bosome的博客
04-24 7288
卷积神经网络LeNet-5的RTL实现（一） 前言 毕业设计做的是卷积神经网络硬件加速相关内容，需要在ZYNQ7020平台上实现一个卷积神经网络。搜索资料的时候发现网上用RTL实现卷积神经网络的资料并不多，于是打算开个博客记录下项目实现过程。由于刚接触数字设计不久，在设计思路和具体实现方面还有许多不足，希望和大家一起交流进步。 本系列博客包含六期内容，分别如下： 前言以及项目用到的结构性电路介绍...
卷积神经网络LeNet-5的RTL实现（三）
R1bosome的博客
04-27 4681
卷积神经网络LeNet-5的RTL实现（三）：卷积层 前文回顾 上一期文章利用FIFO和padding电路实现了卷积神经网络中的padding层。本期文章将详细介绍基于Shift RAM的卷积电路实现。 ...
卷积神经网络LeNet-5的RTL实现（二）
R1bosome的博客
04-25 3563
上一期文章简单介绍了工程用到的一些结构性电路：FIFO、Shift RAM和二叉加法树。这篇文章将使用FIFO和padding电路实现卷积神经网络的padding。
神经网络LeNet5的 的 FPGA RTL级实现 1
pengxiaoen的博客
02-27 1368
基于LeNet5 的MNIST 实现，整体效果可以在B站上看看
甲骨文卷积神经网络识别-RTL（甲骨文识别）
最新发布
04-13
总之，“甲骨文卷积神经网络识别-RTL”项目结合了古代文化和现代科技，通过卷积神经网络与FPGA硬件的结合，为甲骨文的数字化和研究提供了有力的工具。这个领域的研究不仅有助于保护和传承历史文化，也为深度学习和...
esxi-6.7.0-封装RTL8168-RTL8125BG-2.5g网卡-nvme驱动完成镜像ISO
03-06
基于最新源esxi-6.7.0-u3b（ESXi670-201912001.zip）封装RTL8168-RTL8125BG_2.5g网卡-nvme驱动完成镜像ISO
ESXi-7.0U1sc-R_niu.iso_ESXi-7.0RTL8111RTL8125 操作系统.OS
06-19
《ESXi 7.0U1sc 集成RTL8111/RTL8125网卡驱动操作系统详解》 ESXi，全称VMware ESXi，是 VMware 公司开发的一款企业级虚拟化平台，属于VMware vSphere套件的一部分。此镜像文件“ESXi-7.0U1sc-R_niu.iso”是针对...
CNN VivadoHLS
01-02
使用HLS实现的CNN
CNN的硬件实现，由Verilog编写并在FPGA上合成 fpga verilog cnn rtl lenet Cop语言
06-02
CNN（卷积神经网络）硬件实现 该项目是实现硬件 CNN 结构的尝试。 代码由 Verilog/SystemVerilog 编写，并使用 Vivado 在 Xilinx FPGA 上综合。 代码只是功能实验，没有完全优化。 仅实现了 4 个基本模块： conv，这个模块执行卷积计算，全连接也被视为卷积，内核大小等于输入数据大小。 最大池 relu 迭代器，围绕输入数据慢跑，并为计算单元提供数据
RTL8762AR-CG RTL8762AG-CG RTL8762AJ-CG RTL8762AK-CG Datasheet
04-24
1. **RTL8762AR-CG**：这款芯片主要面向需要高速Wi-Fi连接的设备，支持IEEE 802.11ac Wi-Fi标准，提供5GHz频段下的高速无线传输，最大理论速率可达433Mbps。同时，它也包含了蓝牙功能，可以与各种蓝牙设备进行配对，...
神经网络LeNet5的 的 FPGA RTL级实现 2
pengxiaoen的博客
03-05 572
我先给大家演示一下在仿真环境中的数据 关于这个项目大家第一反应当然就是怎么玩，我先给大家演示一下在仿真环境中的数据效果，然后告诉大家这些数据怎么用。方便大家自己玩这个项目。 首先我在 C 代码中选择了第五张图片，然后运行，看到运行结果是，预测数据为 4 ， 测试精度为 93.31% 后面的数据主要也是以第五张图，这个数据 4 的图片为例，校准 HDL 代码。这个数据导入到matlab中会是什么效果呢，给大家看看。（matlab中导入的文件，已经...
卷积的实现
burning1996的博客
10-12 473
卷积函数的定义 import numpy as np from PIL import Image import matplotlib.pyplot as plt import matplotlib.cm as cm ''' image_array: 原灰度图像矩阵 kernel: 卷积核（过滤器） 返回值：原图像与算子进行卷积之后的结果 ''' def ImgConvolve(image_ar...
深度卷积神经网络的数字实现——二维卷积的纯数字电路实现（二）
隔壁old余的博客
11-14 2716
继第一篇卷积神经网络博客，这里继续更新后文。 3 数字模块实现方案 3.1 总体模块 总体模块不做过多说明，详细请看各底层子模块的介绍。 3.1.1 接口定义 3.2 乘法器子模块 3.2.1 模块功能 实现两个8位有符号数之间的乘法，并输出一个16位的数据。对输出结果不进行截取或饱和处理，保证数据的完备性。 3.2.2 接口定义 3.2.3 实现方案 本乘法器采用类似booth乘法器的算...
一文理解电路系统里的卷积
TheCity2333的博客
06-30 1700
预备知识：叠加定理，激励与响应，电路闭合开关瞬间的阶跃现象（都是电路原理的基本知识） 1首先得理解，对于一个电路系统，在这里只关注输入输出特性，举个例子，一个输入为电流I1，输出为电流I2的系统可以用框图来表示，如下图 那么系统对输入I1做了什么呢，可以把系统看作一个函数f，把I1转化为I2=f（I1）,f的结构是由系统的结构决定的。 比如下面这个系统是两个电阻并联（这个图将不在后面用），输入电流I1=1A，输出电流I2是通过R2的电流，那么I2可以表示为I2=R2*I1/(R1+R2) .
基于神经网络的智能去雾芯片（卷积层的rtl代码实现）
qq_61954618的博客
08-30 193
如上，状态由IDLE开始跳转，当输入的使能信号en为1是，IDLE跳转为C1状态，也就是channel1的计算状态，这个计算需要经过3个周期，每个channel都要3个周期计算，三通道计算完毕后停下，随后等待18个clk回到C1状态，至于为什么要等18个周期，这是因为我们最慢的一层计算需要27个周期（更改网络前，修改后实际上最慢需要18个周期，我日后会找时间精进修改），27-9=18，因此需要conv2闲置18个周期随后继续计算，B、消除了组合逻辑输出的不稳定与毛刺的隐患；C、更利于时序路径分组；
循环卷积和周期卷积的关系_基于单口RAM读写的卷积电路（下）
weixin_31730595的博客
12-30 359
这是迟到很久的卷积电路verilog设计的下篇。。。你看我还有机会吗。。。上回我们给出系统的层次结构、卷积计算模块以及用于数据缓存的fifo模块，今天我们首先回顾一下上一次的关键内容。系统结构回顾RTL代码文件可以分为结构如下所示~|--top_conv_tb.v|--top_conv.v| |--sram_input.v| |--sram_weight.v| |--sra...
cortex-m3 rtl
11-14
Cortex-M3是一种基于ARM架构的低功耗、高性能的32位处理器。RTL（Register Transfer Level）是一种硬件设计语言，用于描述数字系统的结构和行为。 Cortex-M3 RTL是指基于Cortex-M3架构的芯片的RTL设计。RTL设计的主要目标是将高级语言（如C或者C++）编写的代码转换为硬件的描述。在Cortex-M3 RTL设计中，设计师会根据Cortex-M3指令集架构和要求，使用RTL语言（如Verilog或VHDL）描述处理器的寄存器、ALU、存储器等各个组件的结构和行为。通过RTL设计，可以实现Cortex-M3架构的处理器芯片。 Cortex-M3 RTL设计通常需要遵循一些设计原则，如时序分析、寄存器映射、信号传输和时钟控制等。时序分析是为了保证处理器中各个模块之间的正确的时序关系，以达到正确的功能和性能要求。寄存器映射则是通过将Cortex-M3中寄存器的功能映射到硬件中的寄存器来实现。信号传输的设计是为了保证各个模块之间的正确的信号传输和连通，以确保数据的正确传递。时钟控制确保处理器各个模块之间的时钟同步，以达到正确的时钟域划分和同步。 总的来说，Cortex-M3 RTL设计是将Cortex-M3架构翻译成硬件描述语言的过程，通过RTL设计可以实现Cortex-M3架构的处理器芯片。这种设计要遵循一些设计原则和规范，以保证设计的正确性和性能。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值