softmax函数的硬件实现

最新推荐文章于 2023-07-15 16:07:13 发布
最新推荐文章于 2023-07-15 16:07:13 发布
阅读量4.7k 收藏 16
点赞数 2
分类专栏： softmax硬件实 文章标签： 函数 硬件 softmax
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XJTU_NOC_Wei/article/details/54629555
版权

softmax作用

首先我们简单的介绍一下我们使用softmax的用处，以及softmax的函数形式。softmax在维基百科上面的解释是：“softmax function is a generalization of the logistic function that maps a length-p vector of real values to a length-K vector of values”简单的说它是一种适用于多分类的损失函数。公式表示如下：
这里写图片描述
我们可以看到，要使用硬件去实现softmax函数首先必须硬件实现exp(x)。实现指数函数的思路是什么呢？首先，我们可以使用泰勒级数展开，那么为了保持一定的精度我需要使用很多的乘法器所以每一个指数函数都需要耗费大量的时钟周期，所以说我们还是选择比较简单的分段线段拟合比较好。下面提供我的思路：我使用分段的线段去拟合softmax函数，当然在硬件实现之前我做了很多关于阈值还有精度对神经网络训练精度的实验发现缩小softmax的输入压缩到一定的阈值比如(-10,10)发现对训练正确率的影响很小。那么我可以使用一个ROM来存储线段的K，B，在计算的时候每一个指数函数我都只需要一个乘法器就能计算。这样大大提高了计算速度。（需要注意的是：我们的硬件结构计算全部使用的是十六位浮点型数据，做乘除法的时候只需要调用IP核就行了）

ROM存储K,B信息

memory_initialization_radix=2;
memory_initialization_vector=
0000100000000000
0001100000000010
0001000000000000
0001110000000101
0001010000000001
0010000000001100
0001110000000100
0010010000011100
0010000000001011
0010110001000010
0010100000100000
0011000010010011
0010110001010111
0011010100111001
0011000011101110
0011101001100110
0011101010000111
0011110000000000
0011111011011111
0011110000000000
0100010010101011
1010100000110000
0100101001011001
1011101111111100
0101000001010000
1011101000110000
0101010111011101
1011010101011010
0101101111111000
1110010001100110
0110000101101010
1110101101010101
0110011101011100
1111000111100111
0110110100000000
1111100010100011
0111001011001100
1111111100100111;

通过输入得到k,b地址

`timescale 1ns / 1ps
//
// Company: 
// Engineer: 
// 
// Create Date: 2017/01/12 20:52:46
// Design Name: 
// Module Name: getaddr
// Project Name: 
// Target Devices: 
// Tool Versions: 
// Description: 
// 
// Dependencies: 
// 
// Revision:
// Revision 0.01 - File Created
// Additional Comments:
// 
//


module getaddr(aclk,x0,x1,x2,x3,x4,x5,x6,x7,x8,x9,
addra0,addra1,addra2,addra3,addra4,addra5,addra6,addra7,addra8,addra9,
addrb0,addrb1,addrb2,addrb3,addrb4,addrb5,addrb6,addrb7,addrb8,addrb9);
input aclk;
input [15:0] x0,x1,x2,x3,x4,x5,x6,x7,x8,x9;
output[5:0] addra0,addra1,addra2,addra3,addra4,addra5,addra6,addra7,addra8,addra9;
output[5:0] addrb0,addrb1,addrb2,addrb3,addrb4,addrb5,addrb6,addrb7,addrb8,addrb9;
reg [5:0] addra0,addra1,addra2,addra3,addra4,addra5,addra6,addra7,addra8,addra9;
reg [5:0] addrb0,addrb1,addrb2,addrb3,addrb4,addrb5,addrb6,addrb7,addrb8,addrb9;
always @(posedge aclk)
begin
if(x0[15:15]==1)
        begin
        if((x0[14:0]<=15'b100100010000000)&&(x0[14:0]>15'b100100000000000)) 
            begin
                addra0=6'b000000;
                addrb0=6'b000001;
            end
        else if((x0[14:0]<=15'b100100000000000)&&(x0[14:0]>15'b100011100000000))
            begin
                addra0=6'b000010;
                addrb0=6'b000011;
            end
        else if((x0[14:0]<=15'b100011100000000)&&(x0[14:0]>15'b100011000000000))
            begin
                addra0=6'b000100;
                addrb0=6'b000101;
            end
        else if((x0[14:0]<=15'b100011000000000)&&(x0[14:0]>15'b100010100000000))
            begin
                addra0=6'b000110;
                addrb0=6'b000111;
            end
        else if((x0[14:0]<=15'b100010100000000)&&(x0[14:0]>15'b100010000000000))
            begin
                addra0=6'b001000;
                addrb0=6'b001001;
            end
        else if((x0[14:0]<=15'b100010000000000)&&(x0[14:0]>15'b100001000000000))
            begin
                addra0=6'b001010;
                addrb0=6'b001011;
            end
        else if((x0[14:0]<=15'b100001000000000)&&(x0[14:0]>15'b100000000000000))
            begin
                addra0=6'b001100;
                addrb0=6'b001101;
            end
        else if((x0[14:0]<=15'b100000000000000)&&(x0[14:0]>15'b011110000000000))
            begin
                addra0=6'b001110;
                addrb0=6'b001111;
            end
        else if((x0[14:0]<=15'b011110000000000)&&(x0[14:0]>15'b000000000000000))
            begin
                addra0=6'b010000;
                addrb0=6'b010001;
            end
            end
else
     begin
        if((x0[14:0]<=15'b011110000000000)&&(x0[14:0]>15'b000000000000000))
            begin
                addra0=6'b010010;
                addrb0=6'b010011;
            end
        else if((x0[14:0]<=15'b100000000000000)&&(x0>15'b011110000000000))
            begin
                addra0=6'b010100;
                addrb0=6'b010101;
            end
        else if((x0[14:0]<=15'b100001000000000)&&(x0>15'b100000000000000))
            begin
                addra0=6'b010110;
                addrb0=6'b010111;
            end
        else if((x0[14:0]<=15'b100010000000000)&&(x0[14:0]>15'b100001000000000))
            begin
                addra0=6'b011000;
                addrb0=6'b011001;
            end
        else if((x0[14:0]<=15'b100010100000000)&&(x0[14:0]>15'b100010000000000))
            begin
                addra0=6'b011010;
                addrb0=6'b011011;
            end
        else if((x0[14:0]<=15'b100011000000000)&&(x0[14:0]>15'b100010100000000))
            begin
                addra0=6'b011100;
                addrb0=6'b011101;
            end
        else if((x0[14:0]<=15'b100011100000000)&&(x0[14:0]>15'b100011000000000))
            begin
                addra0=6'b011110;
                addrb0=6'b011111;
            end
        else if((x0[14:0]<=15'b100100000000000)&&(x0[14:0]>15'b100011100000000))
            begin
                addra0=6'b100000;
                addrb0=6'b100001;
            end
        else if((x0[14:0]<=15'b100100010000000)&&(x0[14:0]>15'b100100000000000))
            begin
                addra0=6'b100010;
                addrb0=6'b100011;
            end
        else if((x0[14:0]<=15'b100100100000000)&&(x0[14:0]>15'b100100010000000))
            begin
                addra0=6'b100100;
                addrb0=6'b100101;
            end
    end
    end
always @(posedge aclk)
    begin
    if(x1[15:15]==1)
            begin
            if((x1[14:0]<=15'b100100010000000)&&(x1[14:0]>15'b100100000000000)) 
                begin
                    addra1=6'b000000;
                    addrb1=6'b000001;
                end
            else if((x1[14:0]<=15'b100100000000000)&&(x1[14:0]>15'b100011100000000))
                begin
                    addra1=6'b000010;
                    addrb1=6'b000011;
                end
            else if((x1[14:0]<=15'b100011100000000)&&(x1[14:0]>15'b100011000000000))
                begin
                    addra1=6'b000100;
                    addrb1=6'b000101;
                end
            else if((x1[14:0]<=15'b100011000000000)&&(x1[14:0]>15'b100010100000000))
                begin
                    addra1=6'b000110;
                    addrb1=6'b000111;
                end
            else if((x1[14:0]<=15'b100010100000000)&&(x1[14:0]>15'b100010000000000))
                begin
                    addra1=6'b001000;
                    addrb1=6'b001001;
                end
            else if((x1[14:0]<=15'b100010000000000)&&(x1[14:0]>15'b100001000000000))
                begin
                    addra1=6'b001010;
                    addrb1=6'b001011;
                end
            else if((x1[14:0]<=15'b100001000000000)&&(x1[14:0]>15'b100000000000000))
                begin
                    addra1=6'b001100;
                    addrb1=6'b001101;
                end
            else if((x1[14:0]<=15'b100000000000000)&&(x1[14:0]>15'b011110000000000))
                begin
                    addra1=6'b001110;
                    addrb1=6'b001111;
                end
            else if((x1[14:0]<=15'b011110000000000)&&(x1[14:0]>15'b000000000000000))
                begin
                    addra1=6'b010000;
                    addrb1=6'b010001;
                end
                end
    else
         begin
            if((x1[14:0]<=15'b011110000000000)&&(x1[14:0]>15'b000000000000000))
                begin
                    addra1=6'b010010;
                    addrb1=6'b010011;
                end
            else if((x1[14:0]<=15'b100000000000000)&&(x1>15'b011110000000000))
                begin
                    addra1=6'b010100;
                    addrb1=6'b010101;
                end
            else if((x1[14:0]<=15'b100001000000000)&&(x1>15'b100000000000000))
                begin
                    addra1=6'b010110;
                    addrb1=6'b010111;
                end
            else if((x1[14:0]<=15'b100010000000000)&&(x1[14:0]>15'b100001000000000))
                begin
                    addra1=6'b011000;
                    addrb1=6'b011001;
                end
            else if((x1[14:0]<=15'b100010100000000)&&(x1[14:0]>15'b100010000000000))
                begin
                    addra1=6'b011010;
                    addrb1=6'b011011;
                end
            else if((x1[14:0]<=15'b100011000000000)&&(x1[14:0]>15'b100010100000000))
                begin
                    addra1=6'b011100;
                    addrb1=6'b011101;
                end
            else if((x1[14:0]<=15'b100011100000000)&&(x1[14:0]>15'b100011000000000))
                begin
                    addra1=6'b011110;
                    addrb1=6'b011111;
                end
            else if((x1[14:0]<=15'b100100000000000)&&(x1[14:0]>15'b100011100000000))
                begin
                    addra1=6'b100000;
                    addrb1=6'b100001;
                end
            else if((x1[14:0]<=15'b100100010000000)&&(x1[14:0]>15'b100100000000000))
                begin
                    addra1=6'b100010;
                    addrb1=6'b100011;
                end
            else if((x1[14:0]<=15'b100100100000000)&&(x1[14:0]>15'b100100010000000))
                begin
                    addra1=6'b100100;
                    addrb1=6'b100101;
                end
        end
        end
    always @(posedge aclk)
    begin
    if(x2[15:15]==1)
            begin
            if((x2[14:0]<=15'b100100010000000)&&(x2[14:0]>15'b100100000000000)) 
                begin
                    addra2=6'b000000;
                    addrb2=6'b000001;
                end
            else if((x2[14:0]<=15'b100100000000000)&&(x2[14:0]>15'b100011100000000))
                begin
                    addra2=6'b000010;
                    addrb2=6'b000011;
                end
            else if((x2[14:0]<=15'b100011100000000)&&(x2[14:0]>15'b100011000000000))
                begin
                    addra2=6'b000100;
                    addrb2=6'b000101;
                end
            else if((x2[14:0]<=15'b100011000000000)&&(x2[14:0]>15'b100010100000000))
                begin
                    addra2=6'b000110;
                    addrb2=6'b000111;
                end
            else if((x2[14:0]<=15'b100010100000000)&&(x2[14:0]>15'b100010000000000))
                begin
                    addra2=6'b001000;
                    addrb2=6'b001001;
                end
            else if((x2[14:0]<=15'b100010000000000)&&(x2[14:0]>15'b100001000000000))
                begin
                    addra2=6'b001010;
                    addrb2=6'b001011;
                end
            else if((x2[14:0]<=15'b100001000000000)&&(x2[14:0]>15'b100000000000000))
                begin
                    addra2=6'b001100;
                    addrb2=6'b001101;
                end
            else if((x2[14:0]<=15'b1000000000000
最低0.47元/天 解锁文章
XJTU_NOC_Wei
关注
  • 2
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
采用软硬件协同设计的SoftMax函数的FPGA实现.pdf
07-13
采用软硬件协同设计的SoftMax函数的FPGA实现.pdf
softmax单元_Softmax函数的设计优化及硬件实现方法及系统与流程
weixin_35899665的博客
12-24 577
本发明设计深度神经网络分类器领域，具体设计一种Softmax函数的设计优化及硬件实现方法及系统。背景技术：Softmax函数可以完成标量到概率的转换，被广泛应用在深度神经网络分类器中的输出层。相比于其他只需要简单加法与乘法的层级如卷积层、池化层、全连接层，Softmax层需要较为复杂的指数运算和除法运算，这给Softmax函数的硬件设计带来相应困难。本发明根据函数性质，拆分指数运算的查找表以减少存...
神经网络量化硬件实现
charles_zhang_的博客
01-18 429
各种算子的硬件量化
softMax(2)---predict实现
jianjian1992的专栏
10-18 1192
softMax的cost写好之后，模型也就可以正式开始进行训练了。 首先要把softMaxExercise里边的Debug赋值为false，可以看到，梯度检验这一步在正式训练过程中是完全不需要做的。softMax模型softMax的模型是什么样的呢？ 假设一共有k个类，那么对于样本x(i)x^{(i)}，预测它属于第j类的概率如下 p(y=j|x(i))=eθTj∗x(i)∑kl=1θTl∗x
Softmax的实现
u014525760的博客
02-21 569
详解：https://zhuanlan.zhihu.com/p/25723112
深度学习中的激活函数SoftMax函数的FPGA设计与实现（三）（new trip）
stanary的博客
07-14 2138
学习更多相关知识，关注博主知乎账号，用户名Trustintruth https://www.zhihu.com/people/suo-yi-xin-90/activities 如果我们之前做的是一个过河的独木舟的话，或许发现了构建桥的蓝图了 就像刚这句话一样，之前我们做的努力或许没有错，但是他最终就实现了功能而已，并不是一个最优方案，或者换句话说，之前的方法我们速度与面积，我们都没有优势。...
深度学习（4）——softmax简洁实现
weixin_45132473的博客
06-23 1212
框架实现softmax回归
Softmax算法实现
Eminem1147的博客
11-11 560
数据集MNIST。 #!/usr/bin/env python3 # -*- coding: utf-8 -*- import time import math import random import numpy as np import pandas as pd from sklearn.model_selection import train_test_split class S...
cuda-使用cuda并行加速实现之softmax.zip
最新发布
04-24
本教程将聚焦于如何使用CUDA来并行加速实现softmax函数，这是机器学习和深度学习中常见的一个关键步骤。 softmax函数通常用于将一组实数值向量转换为概率分布，确保所有元素的和为1。在神经网络的输出层，softmax常...
UFLDL Tutorial Exercise Answer 练习题答案—softmax篇
07-29
1. **实现Softmax函数**：首先，你需要用Python或其他编程语言实现Softmax函数的计算逻辑，确保结果正确无误。 2. **前向传播与损失函数**：练习可能涉及计算Softmax后的预测概率，并与真实标签比较，以计算交叉熵...
尖峰神经网络Verilog代码实现----
03-16
尖峰神经网络Verilog代码实现
Nexys 4 DDR开发板的DDR2 IP核引脚约束文件
01-04
Nexys 4 DDR开发板的DDR2 IP核的引脚约束文件（在例化DDR2 IP核的时候需要用到）。
深度学习中的卷积神经网络系统设计及硬件实现.pdf
09-01
同时，Softmax函数用于输出分类器，它能将网络的输出转换为概率分布，便于多类别的识别。 在系统实现中，采用了流水线技术，通过对每一层特征运算进行并行处理，能够在单个系统时钟周期内完成大量卷积运算。例如，...
深度学习中的卷积神经网络系统设计及硬件实现
10-16
同时，Softmax函数被用作输出分类器，用于将神经网络的连续输出转换为概率分布，便于多分类任务。 系统设计的关键在于并行处理和流水线优化。通过并行处理，每一层的特征运算可以在一个系统时钟周期内完成，显著...
基于FPGA的softmax函数优化及实现
weixin_44384867的博客
07-15 2615
FPGA异构计算是一个趋势，在AI推理、深度学习中广泛使用FPGA进行加速，减小系统延迟。而AI推理中有一个组件被广泛使用，各种网络模型中都有其身影，那就是激活函数。 激活函数中又分很多种，其中softmax是使用最多的一种，但由于其是非线性函数，而FPGA不擅长处理非线性函数，所以如何用更少的资源达到类似的效果，进行激活函数的优化就至关重要。 本文即有标准的基于FPGA的softmax函数实现过程，也有基于FPGA的softmax函数优化实现过程，且给出了两者的资源消耗情况对比。
从零实现深度学习框架——动手实现Softmax回归
日积月累，天道酬勤
01-18 1920
上篇文章对Softmax回归进行了简单的介绍，本文我们就来从零实现Softmax回归。
softmax函数实现时的技巧
逍遥游
09-16 4033
在二分类任务中应用最广泛的激活函数是sigmoid，而在多分类任务中便是softmax函数，用于将实值隐射到(0-1)的区间内，通过交叉熵或者说是负对数极大似然估计作为损失函数，通过随机梯度下降、牛顿法、adagrad、adadelta等优化函数进行迭代优化。sigmoid函数公式如下：sigmoid(x)=11+exp(−x)sigmoid(x) = \frac{1}{1+exp(-x)}soft
softmax函数_Softmax函数理解
weixin_39751769的博客
12-08 308
维基给出的解释，softmax函数，也称指数归一化函数，它是一种logistic函数的归一化，可以将 维实数向量压缩成范围（0~1）的 维实数向量函数形式为 其中分母指归一化的作用，取指数的原因，第一是模拟max的行为，即使得大的数值更大，第二是，方便运算求导在概率论中，softmax函数输出与logistic函数有着密切的联系对于两类的softmax函数可以转化为logistic函数的形式...
一起学习用Verilog在FPGA上实现CNN----(六)SoftMax层设计
鲁棒最小二乘支持向量机
02-10 4151
一起学习用Verilog在FPGA上实现CNN----SoftMax层设计
softmax函数python实现
05-20
softmax函数可以用以下的Python代码实现： ```python import numpy as np def softmax(x): # 计算指数函数 exp_x = np.exp(x) # 计算分母 sum_exp_x = np.sum(exp_x) # 计算softmax值 softmax_x = exp_x / sum_exp_x return softmax_x ``` 这里使用了NumPy库，首先计算出每个输入值的指数，然后计算出所有指数的和，最后将每个指数除以总和，得到softmax值。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值