python logsumexp示例

AI算法网奇

已于 2022-02-19 13:06:15 修改

阅读量2.6k

点赞数 1

分类专栏： python基础文章标签： python pytorch 深度学习

于 2022-02-18 00:56:33 首次发布

本文链接：https://blog.csdn.net/jacke121/article/details/122994935

版权

python基础专栏收录该内容

466 篇文章 56 订阅

订阅专栏

这篇博客介绍了LogSumExp函数如何用于增强数值稳定性，特别是在处理大数值时避免溢出的问题。通过PyTorch和NumPy的代码示例，展示了在不同数据集上使用LogSumExp的正确方法，包括使用Scipy库中的logsumexp函数来避免RuntimeWarning。文章探讨了在不同数据情况下，如何选择合适的方法进行计算。

摘要由CSDN通过智能技术生成

logsumexp函数：

LogSumExp增强数值稳定性_liyu0611的博客-CSDN博客_logsumexp

pytorch 和python代码：


import numpy as np
import torch as t
te = t.tensor([[-1.0000e+12, -1.0000e+02,  0.0000e+00],
               [-2.0000e+00, -1.0000e+12,  0.0000e+00]])
print(te) # [2,3]
logumsexp0= t.logsumexp(te,dim=0) # 两行之间列分别计算log (sum(...)) 值

print(logumsexp0)


res = t.logsumexp(te,dim=1) # 一般都是最后一个维度计算
print(res)
res = t.sum(res)
print(res)


res_0=np.log(np.sum(np.exp(te.numpy()[0])))
res_1=np.log(np.sum(np.exp(te.numpy()[1])))
print(res_0)
print(res_1)

如果数据改为：

import numpy as np
import torch as t
te = t.tensor([[-1000, -1000,  1000],
               [-2.0000e+00, -1.0000e+12,  0.0000e+00]])

res_0=np.log(np.sum(np.exp(te.numpy()[0])))

这个代码会报错：

RuntimeWarning: overflow encountered in exp

这个不报错：

import numpy as np
import torch as t
from scipy.special import logsumexp

sci_0= logsumexp(te.numpy()[0])
print("sci_0",sci_0)

sci_0= logsumexp(te.numpy()[1])
print("sci_1",sci_0)