2021-01-10

torch.nn.CrossEntropyLoss()理解

问题描述： 在RNN模型中batch_size设置值超过1，torch.nn.CrossEntropyLoss()中接收两个参数input和target，死活报错，tensor维度对不上。
作用： torch.nn.CrossEntropyLoss()是nn.logSoftmax()和nn.NLLLoss()的整合,可以直接使用它来替换网络中的这两个操作。

loss = torch.nn.CrossEntropyLoss()
output = loss(input, target)

torch.nn.CrossEntropyLoss()主要是接收两个参数input和target。input是二维tensor的形式(N,C)，target是一个longTensor的形式(N)。target传入CrossEntropyLoss时会转化成为数字对应的one-hot vector,one-hot vector 长度，会根据input 中的C来决定。

target的size

target的size大小是由input中的N决定的，Target的size就等于N，就是说target中有N个值作为LongTensor。

target取值范围

target取值的范围超过input 中的C，会报错

import torch
loss = torch.nn.CrossEntropyLoss()
input = torch.randn(3, 5, requires_grad=True)
target = torch.empty(3, dtype=torch.long).random_(7)
print(input.shape,input)
print(target.shape, target)
output = loss(input, target)

target取值的范围不超过input 中的C，正常运行

loss = torch.nn.CrossEntropyLoss()
input = torch.randn(3, 5, requires_grad=True)
target = torch.empty(3, dtype=torch.long).random_(5)
print(input.shape,input)
print(target.shape, target)
output = loss(input, target)