如何防止softmax函数overflow和underflow？

最新推荐文章于 2023-12-04 21:38:52 发布
最新推荐文章于 2023-12-04 21:38:52 发布
阅读量811 收藏
点赞数
分类专栏： 面试 机器学习 面试记录 文章标签： 机器学习 softmax 上溢 秋招面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mathlxj/article/details/129940313
版权
  • 上溢出：c极其大的时候，计算 e c e^c ec
  • 下溢出：当c趋于负无穷的时候，分母是一个极小的数，导致下溢出
    请添加图片描述
  • 解决方法
    令 M = max ⁡ x i , i = 1 , 2 , ⋯   , n M=\max{x_i}, i=1,2,\cdots,n M=maxxi​,i=1,2,⋯,n, 也就是所有 x i x_i xi​中的最大值，只要将 f ( x ) i f(x)_i f(x)i​的值改为 f ( x ) i − M f(x)i-M f(x)i−M即可解决上溢和下溢的问题，并且，计算结果在理论上仍然和 f ( x ) i f(x)_i f(x)i​保持一致.

在很多数值计算的库中，都采用了此类方法保持数值稳定.

mathlxj
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Softmax函数原理及Python实现过程解析
09-16
主要介绍了Softmax函数原理及Python实现过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
语音识别学习日志 2018-7-25 [softmax溢出的解决（softmax结果张量中的元素大部分是0或1）]
emmmmmm
07-25 6403
昨天做的MLP，网络中每一层都没用任何激活函数，所以输出层的结果_logits中的部分数值比较大(绝对值在3000左右)。最后使用softmax函数对输出层进行处理得到各个结果的概率，发现训练的结果很不理想，准确率在50%以下。最后发现softmax的结果大部分是[0,0,0,0,0,1,0,0,0,0]这种单位向量。最后又看了看softmax，softmax函数的定义如下：          ...
softmax溢出问题
muyuu的博客
01-31 3262
目录上溢及下溢softmax交叉熵损失 softmax函数是深度学习常用的输出函数，它的表达式如下： yj^=exj∑i=1nexi\hat{y_j} = \frac{e^{x_j}}{\sum_{i=1}^{n} e^{x_i}}yj​^​=∑i=1n​exi​exj​​ 上溢及下溢 但是如果 xjx_jxj​ 是一个很大的数，那么 exje^{x_j}exj​ 可能会大于数据类型容许的最大数字，造成上溢，这将使分母或分子变为 infinfinf， 最后得到的是0、infinfinf 或 nannanna
从tf.math.log_softmax和tf.keras.losses.SparseCategoricalCrossentropy看softmax的上溢和下溢问题
sslfk的博客
01-16 392
softmax的上溢和下溢问题
有效防止softmax计算时上溢出（overflow）和下溢出（underflow）的方法
爱CV
07-20 1909
实数在计算机内用二进制表示，所以不是一个精确值，当数值过小的时候，被四舍五入为0，这就是下溢出。此时如果对这个数再做某些运算（例如除以它）就会出问题。反之，当数值过大的时候，情况就变成了上溢出。.........
Softmax 的上下溢出问题解决方案
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本
01-21 2426
在审核RD写的线性分类解读时，看到了这么一条： 在 Softmax 函数的计算过程中，还需要注意上溢出和下溢出的问题 之前遇到过，但都是调包来解决的，今儿看到了之后，整理如下： 给定一个张量： x=[x1,x2,....,xn]T \bm{x} = [x_1, x_2, ...., x_n] ^ T x=[x1​,x2​,....,xn​]T 经过softmaxsoftmaxsoftmax函数为: x~=[x~1,x~2,....,x~n]T \bm{\tilde{x}} = [\tilde{x}_1, \
如何手写softmax函数防止数值溢出？
weixin_42988382的博客
03-04 1190
当我手写cross-entropy的时候，发现有时候竟然会出现error？整个数学计算过程没问题，主要问题就在于上溢出和下溢出，即当遇到极大或是极小的logits的时候，如果直接用公式按照exp的方式去进行softmax的话就会出现数值溢出的情况。为了解决这个问题，首先需要做的就是减去最大值，即： logits = logits - torch.max(logits, 1)[0][:, None] 原理可以看这个链接： https://zhuanlan.zhihu.com/p/29376573 但是我减去
关于tensorflow softmax函数用法解析
09-16
主要介绍了关于tensorflow softmax函数用法解析，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python编写softmax函数、交叉熵函数实例
12-17
# the list of values given by the softmax function. def softmax(L): pass expL = np.exp(L) sumExpL = sum(expL) result = [] for i in expL: result.append(i*1.0/sumExpL) return result python编写...
logistic函数和softmax函数1
08-03
2. 从概率角度来看两者的区别 1. Logistic Function Wiki 2. Softmax Function Wiki 3. Softmax回归
一文彻底搞懂 Softmax 函数，数学原理分析和 PyTorch 验证
qq_43799400的博客
06-14 9205
Softmax 函数的数学原理分析和 PyTorch 使用
C++实现softmax
最新发布
weixin_46273445的博客
12-04 624
Softmax原型如下，常用于神经网络最后一层，将结果转化成(0,1)，并且相加等于1的概率。防止上下溢出，可以把xi替换为(xi-x_max)
softmax计算报错 float32改为float64
weixin_44064434的博客
04-07 491
或者在计算时考虑到数值范围的限制，避免指数函数产生太大的数值。此外，也可以通过一些技巧，如在计算过程中减去最大值，和使用其他数值计算的方式规避数值上溢所带来的问题。逐步查看， 在计算指数函数之前，检查计算的值是否超出了浮点数的值域，这个警告通常是由于在某些计算过程中计算出的指数函数值超出了计算机的浮点数表示范围而触发的。在计算机运算中，数值计算的精度取决于计算机能够表示的数的范围和精度。函数中输入的值超出可用的数据类型的表示范围时，就会发生这种情况。解决方案：float32改为float64。
softmax冗余性，上下溢出，max(x)
weixin_43217958的博客
09-13 269
softmax的冗余性解决方法
Softmax()函数的溢出问题笔记
jluzhanghm1720的博客
12-31 3697
对softmax()的溢出做的笔记
【转】如何防止softmax函数上溢出(overflow)和下溢出(underflow)
m0_37477175的博客
03-25 8328
转载出处 ：https://www.codelast.com/ 《Deep Learning》（Ian Goodfellow & Yoshua Bengio & Aaron Courville）第四章「数值计算」中，谈到了上溢出（overflow）和下溢出（underflow）对数值计算的影响，并以softmax函数和log softmax函数为例进行了讲解。这里我再详细...
softmax函数如何防止数值上溢和溢出问题
hahaha_2017的博客
07-28 2834
参照https://blog.csdn.net/csuzhaoqinghui/article/details/79742685
如何防止softmax函数上溢出(overflow)和下溢出(underflow)
csuzhaoqinghui的博客
03-29 7444
转载出处：https://www.codelast.com/《Deep Learning》（Ian Goodfellow & Yoshua Bengio & Aaron Courville）第四章「数值计算」中，谈到了上溢出（overflow）和下溢出（underflow）对数值计算的影响，并以softmax函数和log softmax函数为例进行了讲解。这里我再详细地把它总结一下...
Softmax损失函数和交叉熵损失函数有什么区别？
09-28
引用中提到，最大化softmax函数的结果等价于最小化交叉熵损失函数。softmax损失函数是基于softmax函数的输出结果计算的，它衡量了模型在多分类问题中的预测结果与真实标签之间的差异。而交叉熵损失函数则是一种常用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值