基于FPGA的神经网络的预测过程的实现

       前言：

本文的目的是在一个神经网络已经通过python或者MATLAB训练好的神经网络模型，将训练好的模型的权重和偏置文件以TXT文件格式导出，然后通过python程序将txt文件转化为coe文件，（coe文件是为了将其写入rom，网络中的权重和偏置通过读取ROM即可，后续需要修改输入其他特征值，只需要修改input的rom里面的coe文件即可）。

设计思想

        其中sigmoid函数是本次实验最大的难点，因为sigmoid函数的值是在0-1之间的小数，其值越大，说明该模型的输出是该结果的几率越大。但是verilog硬件描述语言，其计算结果只有0或1两种情况，所以要想直接通过verilog语言计算出sigmoid函数的值是比较复杂的，本次使用的方法为查找表法，通过外部其他语言计算出sigmoid函数的值，然后将其放入查找表，后续当需要使用sigmoid函数时，直接输出结果。但是这个需要不断地往里面加值，每更新一次输入，那么就往sigmoid模块里面的查找表添加上该输入的sigmoid值。

        由于FPGA的计算是基于数字逻辑和二进制运算，小数计算只能通过  固定点数（即带有定点小数位的整数表示）来模拟某些浮点数计算。这需要使用额外的逻辑来实现浮点数的运算、舍入和特殊值处理。

        但是本文选择一个简便的方法，选择将输入，权重 分别保留两位小数（可自己选择位数，保留越多精度越高，反之精度越低），然后分别将其乘以100，将数据全都变成带符号整数，然后将其进行乘加运算。将偏置保留4位小数并乘以10000，得到的结果除以10000然后进行sigmoid计算，后续无论添加多少层，都可以以此方法来进行计算。以下为搭建神经网络的步骤：

step1: 处理数据，将保存好的权重文件转化为coe文件，然后添加一个ROM，并将coe文件加载进             ROM里面；

module input_rom_ctr(
	input sys_clk,	//50MHz时钟
	input rst_n,		//复位，低电平有效
    input [5:0] data_deep,
    output reg [31:0] rom_data_r	,  //ROM读出数据
    output reg         viald,
    output reg	 [6:0] rom_addr_rr    //ROM输入地址 
    );


reg [6:0] rom_addr;
//产生ROM地址读取数据
always @ (posedge sys_clk or negedge rst_n)
begin
    if(!rst_n)begin
        rom_addr <= 7'd0;
        viald <= 1'b1;
    end
    else if(rom_addr_rr >= (data_deep -1'd1))begin
        viald  <= 1'b0;
    end
    else if(rom_addr >= (data_deep - 1'd1))begin
        rom_addr <= 7'd0;
    end

    else begin
        rom_addr <= rom_addr+1'b1;
        viald <= viald;
    end
end  

reg [6:0]rom_addr_r;
always @(posedge sys_clk or negedge rst_n) begin
    if(!rst_n)begin
        rom_addr_r <= 7'd0;
        rom_addr_rr <= 7'd0;
    end
    else begin
        rom_addr_r <= rom_addr;
        rom_addr_rr <= rom_addr_r;
    end
end
wire [31:0] rom_data;   
always @(posedge sys_clk or negedge rst_n)begin
    if(!rst_n)begin
        rom_data_r <= 32'd0;
    end
    else begin
        rom_data_r <= #2 rom_data;
    end
end
//实例化ROM
input_rom rom_ip_inst
(
    .clka   (sys_clk ),      //inoput clka
    .addra  (rom_addr),      //input [4:0] addra
    .douta  (rom_data)       //output [7:0] douta
);
endmodule

step2：将ROM里的数据读取出来，如果数据较少就直接使用二维数组保存数据，较多的话可以添             加一个RAM，然后通过调用RAM里面的变量搭建第一层神经网络（暂不添加sigmoid）。

input_rom_ctr input_rom(   //取输入层的数据存入ram
	.sys_clk  (clk),	//50MHz时钟
	.rst_n    (rst_n),		//复位，低电平有效
    .data_deep(5),
    .rom_data_r (rom_data1),	  //ROM读出数据
    .viald    (en_wr1),
    .rom_addr_rr (input_index)
    );


always @(posedge clk)begin
    if(en_wr1) begin
        input_layer[input_index] <= rom_data1;   //从rom里面读出数据，并将其写入ram/寄存器里面，后面的神经网络直接调用寄存器操作
    end
    else begin
        input_data <= input_layer[input_index];//从ram里面读出来的数据，加载地址就得到相应的数据。
    end
end

Step3：通过仿真得到第一层神经网络每个神经元的乘加结果，并加上偏置后，通过外部计算得到            sigmoid值后将其添加到sigmoid模块的lut查找模块中，如此反复，最后就可以得到一个神经            网络框架。（sigmoid函数的结果也要乘以100，作为下一层的输入），最后得到的输入层             的每个神经元的结果就代表其识别结果的概率。

module sigmoid (    
  input wire signed [31:0] input_value,     // 输入32位有符号整数
  output reg signed [31:0] sigmoid_output  // 输出32位有符号整数
);

always @(*) begin   //可以看做是一个查找表，将上一层的输入进入sigmoid函数来进行查找值，然后将得到的值乘以100用于保留两位小数，精度要求高的就多乘一点
  case (input_value)
    -2673  :  sigmoid_output = 43;   //上一层输入3490，是原本输入乘以100，保留两位小数乘以权重乘以100，即改结果是原本结果的10000倍，所以进sigmoid函数的应该是0.349
    17232  :  sigmoid_output = 85;   //建议以后有更多值后继续添加，查找表越丰满，后续能使用的输入就越多。
    36380  :  sigmoid_output = 97;
    124358 :  sigmoid_output = 100;
    -47650 :  sigmoid_output = 1;
    -5781  :  sigmoid_output = 36;
    3657   :  sigmoid_output = 59;
    -23082 :  sigmoid_output = 9;
    ///上面是第一层隐层的结果，下面是输出层的结果。
    4816   :  sigmoid_output = 62; 
    -3390  :  sigmoid_output = 42; 
    20652  :  sigmoid_output = 89; 
    -4386  :  sigmoid_output = 39; 
    -2004  :  sigmoid_output = 45; 
    -623   :  sigmoid_output = 48; 
    default: sigmoid_output = 0;
  endcase
end 
endmodule

仿真结果

 最后的output_layer就是输出的最后结果。