代码试错
jamie勿忘初心
小白
展开
-
Torch.cat用法与reshape恢复
torch.cat将向量拼接之后,恢复为原向量。 reshape是以后面数量为单元划分的,例如[bt*3,5]如果reshape为[bt,3,5]的话就是以3*5这么个数量去从头开始划分。 import torch a = torch.ones(1,5) b = 2 * torch.ones(1,5) A= torch.cat([a,b],dim=0) c = 3 * torch.ones(1,5) d = 4 * torch.ones(1,5) B= torch.cat([c,d],dim=原创 2021-04-03 12:58:25 · 895 阅读 · 0 评论 -
pytorch中nn.CrossEntropyLoss使用注意事项
pytorch中nn.CrossEntropyLoss使用注意事项 Loss的数学表达公式: 使用代码样例: # 这样展开就相当于每个词正确的类别和预测的整个词表概率分布进行对应 criterion = nn.CrossEntropyLoss(ignore_index=2).to(device) # ignore_index是指忽略真实标签中的类别 vocab_size = pre.shape[-1] trg = trg[:,1:] trg_tag = trg.reshape(-1).to(d原创 2020-12-07 14:46:26 · 1811 阅读 · 0 评论