nn.CrossEntropyLoss

最新推荐文章于 2024-04-17 19:23:21 发布

fksfdh

最新推荐文章于 2024-04-17 19:23:21 发布

阅读量177

点赞数

分类专栏：机器学习与深度学习 python 文章标签：深度学习 python

本文链接：https://blog.csdn.net/fksfdh/article/details/128699877

版权

python 同时被 2 个专栏收录

55 篇文章 2 订阅

订阅专栏

机器学习与深度学习

20 篇文章 0 订阅

订阅专栏

import torch
import numpy as np
from torch.nn.functional import one_hot
from torch import nn

predicts = np.array(([
[-1.0606,  1.5613,  1.2007, -0.2481],
[-1.9652, -0.4367, -0.0645, -0.5104],
[ 0.1011, -0.5904,  0.0243,  0.1002]
]))
print("pred_shape:",predicts.shape)

label= torch.tensor([0,2,1])
#one_hot编码
label = one_hot(label,num_classes=4)
print("label:",label)
#使用softmax转化为概率值
print("softmax:",torch.softmax(torch.tensor(predicts),1))

#计算loss
#公式： -(1/n)*∑ ∑p(x)logq(x)    其中，q(x)是预测概率，p(x)实际概率
loss =-1/predicts.shape[0] * torch.sum(label*torch.log(torch.softmax(torch.tensor(predicts),1)))
print("loss:",loss)

#nn.CrossEntropyLoss
crit = nn.CrossEntropyLoss()
loss = crit(torch.tensor(predicts),torch.tensor([0,2,1]))
print("CrossEntropyLoss:",loss)

pred_shape: (3, 4)
label: tensor([[1, 0, 0, 0],
        [0, 0, 1, 0],
        [0, 1, 0, 0]])
softmax: tensor([[0.0376, 0.5172, 0.3606, 0.0847],
        [0.0603, 0.2780, 0.4034, 0.2583],
        [0.2919, 0.1462, 0.2703, 0.2916]], dtype=torch.float64)
loss: tensor(2.0373, dtype=torch.float64)
CrossEntropyLoss: tensor(2.0373, dtype=torch.float64)