探究negative log likelihood loss（nll_loss）、cross_entropy与one hot编码

最新推荐文章于 2024-10-01 15:59:32 发布

sunny冰青

最新推荐文章于 2024-10-01 15:59:32 发布

阅读量2.9k

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/u012751110/article/details/104071609

版权

本文深入探讨了negative log likelihood loss（nll_loss）的概念，它在机器学习中常用于衡量预测概率分布与实际目标之间的差异。同时，文章还介绍了交叉熵作为损失函数的使用，以及它与one-hot编码的关系。通过实例分析，揭示了nll_loss如何计算，并阐述了为什么在多分类问题中常采用one-hot编码来表示类别。

摘要由CSDN通过智能技术生成

import torch
import numpy as np
import torch.nn.functional as F
import math
from functools import reduce
exp = math.exp
log = math.log

#设置实验数据
input = torch.tensor([[2.5, -0.5, 0.1],
                        [-1.1, 2.5, 0.0],
                        [1.2, 2.2, 3.1]], dtype=torch.float)
labels = torch.tensor([1, 0, 2], dtype=torch.long)

#python实现log_softmax计算
def log_softmax(p):
    m,n = p.size()
    sm_arr = []
    for i in range(m):
        exp_xlist = list(map(lambda x: exp(x),p[i]))
        tmp_sum = reduce(lambda x,y:x+y,exp_xlist)
        tmp_list = [log(x/tmp_sum) for x in exp_xlist]
        tmp_arr = np.array(tmp_list)
        sm_arr.append(tmp_arr)
    sm_arr = np.array(sm_arr)
    return sm_arr

#方法1 先调用自定义log_softmax函数计算softmax，再调用nll_loss函数计算损失；
#(1.1) 先采用自定义log_softmax函数计算softmax
ety = log_softmax(input)
ety = torch.from_numpy(ety).to(torch.float32)