pytorch中的交叉熵

这里给出代码：

import torch
import math
import torch.nn as nn
import numpy as np
# 假设这是卷积后又经过softmax的输出,数字之和不为1，随便写的数字
input = np.array([[0.05, 0.34, 0.26, 0.68, 0.85]])
# ndarry转tensor
input_tensor = torch.from_numpy(input)
print(input_tensor.shape)
print(input_tensor)
# 假设这是实际标签
target = torch.empty(1, dtype=torch.long).random_(5)
print(target.shape)
print(target)

# 交叉熵损失函数
loss = nn.CrossEntropyLoss()
output = loss(input_tensor, target)
print(output)

# 手动计算交叉熵结果
a = math.log(math.exp(input[0][0])+math.exp(input[0][1])+math.exp(input[0][2])+math.exp(input[0][3])+math.exp(input[0][4]))
print(a-input[0][int(target.item())])

CrossEntropyLoss()里最基本的两个参数（input，target）：
一、input是预测的结果，也就是卷积网络输出的结果input_tensor,它是一个二维的向量
二、target参数是目标结果，也就是真实的那个结果，它是一个一维的向量
比如 input_tensor.shape是torch.size([1,5]) target.shapetorch.size([1])，CrossEntropyLoss有一个机制是把target的一维向量转换成one-hot形式,比如target = [2] 它会被转化为 target= [0, 0, 1, 0, 0]就是对应索引位置上为1，其余为0.
然后计算交叉熵公式就可以简便成 -input_tensor[2]+log(exp(input[0][0])+exp(input[0][1])+exp(input[0][2])+exp(input[0][3])+exp(input[0][4]))
实际上这里可以简单的理解为 先把所有input_tensor中的值求e求和再log减去input_tensor中索引值为target为1的那个值

结果:
torch.Size([1, 5])
tensor([[0.0500, 0.3400, 0.2600, 0.6800, 0.8500]], dtype=torch.float64)
torch.Size([1])
tensor([1])
tensor(1.7477, dtype=torch.float64)
1.74774117397