探究logsoftmax的计算细节

本文详细探讨了LogSoftmax的数学原理及其在概率估计中的应用,解析了其与Softmax函数的区别,以及在神经网络中作为损失函数的作用,强调了在计算效率和数值稳定性方面的优势。
摘要由CSDN通过智能技术生成
import torch
import numpy as np
import torch.nn.functional as F
import math
from functools import reduce
exp = math.exp
log = math.log
#设置实验数据
input = torch.tensor([[2.5, -0.5, 0.1],
                        [-1.1, 2.5, 0.0],
                        [1.2, 2.2, 3.1]], dtype=torch.float)
#python实现
def log_softmax(p):
    m,n = p.size()
    sm_arr = []
    for i in range(m):
        exp_xlist = list(map(lambda x: exp(x),p[i]))
        tmp_sum = reduce(lambda x,y:x+y,exp_xlist)
        tmp_list = [log(x/tmp_sum) for x in exp_xlist]
        tmp_arr = np.array(tmp_list)
        sm_arr.append(tmp_arr)
    sm_arr = np.array(sm_arr)
    return sm_arr
ety = log_softmax(input)
print(ety)
#输出为
"""
[[-0.13147117 -3.13147117 -2.53147116]
 [-3.70382721 -0.10382719 -2.60382719]
 [-2.3422072  -1.3422072  -0.44220734]]
"""
#python numpy 实现
a = input.numpy()
colsum = np.sum(np
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值