log-sum-exp 的计算溢出解决

最新推荐文章于 2024-03-09 16:48:12 发布
最新推荐文章于 2024-03-09 16:48:12 发布
阅读量1.5k 收藏 3
点赞数 1
分类专栏： 数学/物理 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43318626/article/details/101926703
版权
文章介绍了LogSumExp的计算中可能出现的溢出问题，并提出通过SoftMax函数及其对数形式来解决。通过变形，将LogSumExp转换为避免溢出的形式，其中c取最大值，从而确保数值稳定性。最后展示了SoftMax与LogSumExp的关系，为数值计算提供了稳定的方法。
摘要由CSDN通过智能技术生成

1 原始的定义
Log ⁡ Sum ⁡ Exp ⁡ ( x 1 … x n ) = log ⁡ ( ∑ i = 1 n e x i ) \operatorname{Log} \operatorname{Sum} \operatorname{Exp}\left(x_{1} \ldots x_{n}\right)=\log \left(\sum_{i=1}^{n} e^{x_{i}}\right) LogSumExp(x1​…xn​)=log(i=1∑n​exi​)
2 SoftMax
e x j ∑ i = 1 n e x i \frac{e^{x_{j}}}{\sum_{i=1}^{n} e^{x_{i}}} ∑i=1n​exi​exj​​
3 对SoftMax取对数
log ⁡ ( e x j ∑ i = 1 n e x i ) \log \left(\frac{e^{x_{j}}}{\sum_{i=1}^{n} e^{x_{i}}}\right) log(∑i=1n​exi​

最低0.47元/天 解锁文章
Loy_Fan
关注
专栏目录
一文弄懂LogSumExp技巧
u013250861的博客
06-18 103
LSE被定义为参数指数之和的对数：输入可以看成是一个n维的向量，输出是一个标量。
Machine Learning小技巧:LogSumExp
WeekSix的博客
04-01 1244
LogSumExp小技巧 Machine Learning当中会涉及到许多的小技巧让运算更快捷，或者结果更精确，其中LogSumExp就是一种可以运到softmax的代码实现中小技巧。 LogSumExp(x1…xn)=log⁡(∑i=1nexi) LogSumExp(x_1…x_n) = \log\big( \sum_{i=1}^{n} e^{x_i} \big) LogSumExp(x1​…x...
【模型转换tips】torch.logsumexp
加盐
06-07 3323
torch.logsumexp的计算就是字面意思 但是自己实现的话发现单exp这一步输出就会出现溢出变成inf，就是无穷大 发现函数里头的小技巧是进行了平移： 参考： 机器学习 - 计算 Log-Sum-Exp 8. log_sum_exp的trick ...
【优化笔记5】证明log-sum-exp函数是凸函数
☆下山☆的博客
10-08 2611
log-sum-exp函数是凸函数
机器学习 - 计算 Log-Sum-Exp
猿猿的小仓库
05-12 629
参考 https://blog.csdn.net/u013066730/article/details/81949957 计算 Log-Sum-Exp [原文-Computing Log-Sum-Exp] 本文的计算技巧是有效的，但在机器学习课程上没有明确提到. 这样保证了取指数时的最大值为0. 这种技巧使得绝对不会出现上溢(overflow)，即使其余的下溢(underflow)，也可以得到一个合理的值. ...
深度理解log-sum-exp
qq_35037684的博客
07-25 3222
啥是log-sum-exp呢， 在损失函数BCEWithLogitsLoss中，Torch官方文档给出的解释是，就是在sigmoid后接了BCELoss。通过将这些操作整合到一层，使用log-sum-exp strick的技巧可以获得更好的数值稳定性。等等，什么是log-sum-exp trick？ 查了一下，发现知乎上有篇文章写的很详细，传送门 ...
log-sum-exp是求$\ln(\sum_{i=1}^{n} e^{x_i})$，在实现时注意： 1.数值稳定性问题：在计算机上计算指数时，指数项太大可能会导致浮点计算变得非常不精确或者溢出出现inf，取对数时如果输入值太接近0造成下溢出变为0也会出错。 2.批量处理。你实现的log-sum-exp应当接受一个[batch_size, feature_dim]维度的输入，输出是\[batch_size]维的，也就是同时计算batch_size个向feature_dim维向量的log_sum_exp。你不可以使用循环结构依次逐个计算单个向量的log_sum_exp再拼接，因为这样做的性能太差。 3.不可以直接调用torch.logsumexp或者np.logaddexp等直接完成该功能的函数，不过你可以使用torch.logsumexp在同一组测试数据上验证你的实现的结果是否正确。
05-25
实现log-sum-exp可以使用以下公式： $\ln(\sum_{i=1}^{n} e^{x_i})...然后我们将$x_{max}$广播成与$x$相同的形状，将$x$减去$x_{max}$，使用`torch.exp`计算指数，使用`torch.sum`计算和，并使用`torch.log`计算对数。
log-MPA-迭代次数对比_SCMAcode_
10-01
`log_sum_exp.m`很可能是一个辅助函数，用于计算对数和的近似值，这是log-MPA算法中的关键操作。因为直接计算大量项的和可能导致数值溢出，所以通常会使用对数域的运算来避免这个问题。 通过对这些文件的分析，我们...
logsumexp实现
08-14
在使用EM算法训练GMM过程中，使用到的logsumexp函数，顾名思义，是计算log（sum（exp（X）））的函数。
常用的损失函数
热门推荐
qq_41048761的博客
04-19 1万+
pytorch的源码：torch.nn — PyTorch 1.11.0 documentation jittor的源码：jittor.nn — Jittor 1.3.2.6 文档 (tsinghua.edu.cn) 目录 一、回归损失函数 1.1 MSE[均方误差Mean Square Error，二次损失Quadratic Loss，L2损失L2 Loss] 1.2 MAE[平均绝对误差Mean Absolute Error，L1损失L1 Loss] 1.3 Huber Loss...
不等式记录
Gene_I must wait for the sunrise
12-08 504
前言 如果你对这篇文章可感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。 Supremum and Infimum 一、若函数 f,g:A→Rf, g: A \rightarrow \mathbb{R}f,g:A→R 有界，则下式成立： ∣sup⁡Af−sup⁡Ag∣≤sup⁡A∣f−g∣∣inf⁡Af−inf⁡Ag∣≤sup⁡A∣f−g∣ \begin{aligned} \left|\sup _{A} f-\sup _{A} g\right| &am
tf.reduce_logsumexp 函数介绍
信道者
07-01 4379
tf.reduce_logsumexp说明
【项目整理】SuperGlue和LoFTR特征匹配RKNN部署
最新发布
KLeinLAN的博客
03-09 1062
因整理简历需要，将项目放在博客简单介绍一下。
LogSumExp增强数值稳定性
liyu0611的博客
09-04 2292
http://m.elecfans.com/article/805898.html 编者按：Feedly联合创始人、大数据与机器学习主管Kireet Reddy讲解了LogSumExp原理。 机器学习中有很多巧妙的窍门，可以加速训练，提升表现……今天我将讨论LogSumExp这一机器学习中常见的模式。首先给出定义： 我们什么时候会见到这样的式子？常见的一个地方是计算softmax函数的交叉熵损失...
常用的matlab函数命令
scc的博客
10-27 3321
主要涉及matlab中高效计算的一些小技巧
LogSumExp解释
test
11-03 1245
详细推导：https://zhuanlan.zhihu.com/p/153535799 对于LogSumExp(p1, p2)，输入p1和p2一般为log概率，假设对应的原始概率为p1'和p2'，那么有： p1=log⁡p1′p2=log⁡p2′ p_1=\log p_1' \\ p_2=\log p_2' p1​=logp1′​p2​=logp2′​ 我们要计算两个原始概率的和p1'+p2'，但是一般我们输入的都是log域的概率，LogSumExp函数的功能就是给定log概率，计算原始概率之和并取log。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值