Pytorch教程(3)——交叉熵CrossEntropyLoss()

交叉熵的计算公式

输入的x的shape为(batch_size, num_class)，一般求loss为对batch_size求均值，后进行backward

计算公式

这里class指的是某一类：

• 不带权重
  $$loss(x,class)=-log\frac{exp(x[class])}{{\Sigma }_{j}exp(x[j])}$$
• 带权重
  $$loss(x,class)=weight[class]\times -log\frac{exp(x[class])}{{\Sigma }_{j}exp(x[j])}$$

手算交叉熵

import torch
import torch.nn as nn

entroy=nn.CrossEntropyLoss()
input=torch.Tensor([[-0.7715, -0.6205,-0.2562]])    # shape: [1, 3]
target = torch.tensor([0])    # shape: [1]
output = entroy(input, target)
print(output)

Out:

tensor(1.3447)

手算的结果
$$-log\frac{exp(x[0])}{{\Sigma }_{j}exp(x[j])}=0.7715+log(exp(-0.7715)+exp(-0.6205)+exp(-0.2562))=1.3447$$

交叉熵的源码实现

CrossEntropyLoss()=LogSoftmax()+NLLLoss()

m = nn.LogSoftmax()
loss = nn.NLLLoss()
input=m(input)
print('input', input)
output = loss(input, target)
print('output:', output)

Out:

input: tensor([[-1.3447, -1.1937, -0.8294]])
output: tensor(1.3447)

nn.LogSoftmax()的计算公式
$$log\frac{exp(x)}{{\Sigma }_{i}exp(x_i)}$$
nn.NLLLoss()的计算公式
$$los{s}_n=-w_n{x}_{n,y_n}$$

参考

pytorch损失函数之nn.CrossEntropyLoss()、nn.NLLLoss()