深度学习中的激活函数SoftMax函数的FPGA设计与实现（三）（new trip）

最新推荐文章于 2024-09-13 09:56:35 发布
最新推荐文章于 2024-09-13 09:56:35 发布
阅读量2.1k 收藏 8
点赞数 1
分类专栏： SoftMax FPGA学习 文章标签： FPGA 神经网络 softmax
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stanary/article/details/79826784
版权
本文探讨了在FPGA上高效实现神经网络中SoftMax激活函数的几种方法，包括软件法、类CPU法及其局限性。重点介绍了通过逻辑分析法，利用对数的性质将除法转换为减法，结合泰勒公式进行指数运算的近似，以减少时钟周期和提高计算速度。文章还提到了数据传输协议AXI4在FPGA设计中的应用。
摘要由CSDN通过智能技术生成

学习更多相关知识，关注博主知乎账号，用户名Trustintruth   https://www.zhihu.com/people/suo-yi-xin-90/activities

如果我们之前做的是一个过河的独木舟的话，或许发现了构建桥的蓝图了

就像刚这句话一样，之前我们做的努力或许没有错，但是他最终就实现了功能而已，并不是一个最优方案，或者换句话说，之前的方法我们速度与面积，我们都没有优势。

我们现在来重新分析这个题目

从这个式子以及我们第一次分析的结果来看，可以得出很简单的结论

1.实现这个式子，我们需要完成加法运算n-1次，指数运算n次，除法运算一次。

2.要完成这个式子要完成所有输入之后才可以进行除法运算。换句话说，该结果由于分子是全部输入的指数和，所以不可以依次输入后每次运算在上一次运算的结果之上再次进行计算。

根据上边两个显而易见的结论，我们可以得出第一种方法实现：

软件法

这种方法使用ARM直接完成编程。由于ARM相对于其他种方法相对来说实现相对简单，思路也就是前博客的思想。由于博主对ARM了解过浅，此处也不敢延伸。

但是像这种软件实现的

最低0.47元/天 解锁文章
我是Trustintruth
关注
专栏目录
深度学习中的激活函数SoftMax函数的FPGA设计与实现 （一）
stanary的博客
01-23 4372
学习更多相关知识，关注博主知乎账号，用户名Trustintruth https://www.zhihu.com/people/suo-yi-xin-90/activities 近期一来希望趁着假期可以充实一下自己，二来想做一些算法的东西，最终决定试一试水深度学习中的激活函数。计划用一段时间将这个不算是很难得算法使用FPGA实现出来。 在收集资料的阶段，在博客和知乎中找了许多许多的资料，在此...
深度学习中的激活函数SoftMax函数的FPGA设计与实现（二）（CORDIC）
stanary的博客
03-23 3333
这次我们来继续设计我们的SoftMax函数实现。上次我们将SoftMax函数进行了简单的分析，发现算法的实现第一个难点就是如何实现指数函数。这次我打算囫囵吞枣的来简述一下指数函数的实现。在最初思考如何去实现指数函数的时候，脑海中有两种思路，一是使用MATLAB对指数函数进项采样，再以自变量值位地址位（假设地址位共8位，自变量值位高四位，所以每个数据就会有8位的字长），函数值为存储数据存储进ROM中...
【机器学习】激活函数（Softmax）
最新发布
fzy2003的博客
09-13 791
Softmax 是一种常用于多分类任务的激活函数，其作用是将未归一化的输出向量转换为概率分布，使每个类别的概率值介于 0 到 1 之间，且所有类别的概率和为 1。在卷积神经网络（CNN）中，Softmax 通常用于最后一层，处理多分类问题。通过将全连接层的输出（各类别的“原始分数”）经过 Softmax 转换为概率，可以直观地确定模型对每个类别的信心。例如，在手写数字识别任务中，Softmax 的输出概率可用于确定模型对数字类别的预测结果。
softmax函数的硬件实现
XJTU_NOC_Wei的博客
01-20 4992
softmax作用首先我们简单的介绍一下我们使用softmax的用处，以及softmax的函数形式。softmax在维基百科上面的解释是：“softmax function is a generalization of the logistic function that maps a length-p vector of real values to a length-K vector of va
softmax 实现
sarracode的博客
11-15 890
本文主要是学习了Dive-into-DL-PyTorch这本书。因此这篇博客的大部分内容来源于此书。框架使用的是pytorch，开发工具是jupyter，下面是具体实现过程。 1.导入包 import torch import torchvision import numpy as np import sys sys.path.append("..") # 为了导入上层目录的d2lzh_py...
softmax实现
鱼香土豆丝
11-28 339
softmax 常用于预测于伯努利分布相关联的概率，具体的数学表达为： softmax(x)i=1∑j=1nexp(xj)softmax(x)_i=\frac{1}{{\sum^n_{j=1}exp{(x_j)}}}softmax(x)i​=∑j=1n​exp(xj​)1​ 也就是在机器学习中著名 的S型曲线，对数据下溢和上溢有很好的作用，具体的实现也就是如下的代码 import numpy as...
采用软硬件协同设计的SoftMax函数的FPGA实现.pdf
07-13
在软硬件协同设计中，SoftMax函数被特别选用为研究对象，因为它是深度学习中常用的一种激活函数。SoftMax函数的主要功能是将多分类的输出值转换为相对概率，使得模型能更好地处理比较和选择。对于如何在高复杂度、大...
python 深度学习中的4种激活函数
09-24
在Python深度学习领域，激活函数扮演着至关重要的角色，它们为神经网络引入了非线性，使得模型能够解决更复杂的问题。本文将详细介绍四种常见的激活函数：Sigmoid、Tanh、ReLU和SoftMax。 首先，激活函数的主要作用...
softmax的实现
m0_61414335的博客
04-15 981
此时需要x*y个w，对于样本，需要计算其类别的可能性，进行y次线性运算。遍历训练数据集中的每个批次，计算模型在输入 x下的输出 y_hat，然后计算模型输出和真实标签之间的损失 l。对于data_iter中的x,y，经过net预测后的x与实际值y相同则加入metric,返回值为正确率。softmax是为了实现分类问题而提出，设在某一问题中，样本有x个特征，分类的结果有y类，函数的目的是对模型进行训练和参数更新，并在每个 epoch 后评估模型在测试集上的准确率。先输入张量X进行指数运算，得到一个新的张量。
softmax的简单实现
是休比呦的博客
03-20 328
softmax的简单实现
caffe Softmax的实现
qingsong1001的专栏
08-31 1502
Softmax的实现 Softmax的基础知识 在数学中，softmax函数，或称为“归一化指数函数”，是logistic函数的一种泛化；也就是说，它是logistic函数的一个子类。它把logistic函数的任意实数值的K维向量 z 变形为 一个实数值的K维向量，的每个元素的范围(0,1)且满足所有元素之和为1.因此，它变成了一个K-1维的空间，有一个维度丢失了。 在概率论中，sof...
softmax简洁实现
YUNFanZ的博客
02-02 1042
softmax简洁实现代码部分小结 代码部分 import tensorflow as tf from d2l import tensorflow as d2l batch_size = 256 train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)` net = tf.keras.models.Sequential() net.add(tf.keras.layers.Flatten(input_shape=(28, 28)))
深度学习（4）——softmax简洁实现
weixin_45132473的博客
06-23 1301
框架实现softmax回归
Softmax
xiaoxiaoliluo917的博客
06-08 4346
模型        进行多分类时，就要用到softmax。       训练样本是：{(x(1),y(1)),...,(x(m),y(m))}\lbrace{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})}\rbrace{(x(1),y(1)),...,(x(m),y(m))}，值得注意...
Softmax在Fashion-MNIST的实现(手动从0实现 softmax 回归（只借助Tensor和Numpy相关的库）)
ResumeProject的博客
07-26 2173
要求动手从0实现 softmax 回归（只借助Tensor和Numpy相关的库）在Fashion-MNIST数据 集上进行训练和测试，并从loss、训练集以及测试集上的准确率等多个角度对结果进行分析 （要求从零实现交叉熵损失函数） import torch from IPython import display # 加载Fashion-MNIST import torch import torchvision import torchvision.transforms as transform # 下
(三)Softmax的原理及代码实现
user_28608的博客
07-30 314
讲解了softmax的原理和代码实现，适合初学者
深度学习中的softmax函数导数与神经网络解析
在神经网络与深度学习领域，softmax函数是一种广泛使用的激活函数，尤其在多分类问题中。该函数可以将一组实数值转化为概率分布，确保所有元素的和为1。在描述中给出的公式（100）展示了softmax函数关于输入x的导数...
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值