Pytorch使用交叉熵损失函数CrossEntrophy一些需要注意的细节

Pytorch使用交叉熵损失函数CrossEntrophy一些需要注意的细节

CrossEntrophy()

交叉熵损失函数,是一种在多分类任务,多标签学习中效果较好的损失函数。

criterion = nn.CrossEntropyLoss()
...
# train
...
        for i, (features, length, label) in enumerate(train_loader):
            ...
            loss = criterion(prediction, target)
            loss.backward()
            optimizer.step()
            L = L + loss.item()

其中prediction和target分别代表网络的输出和数据自身的标签

我在进行分类网络搭建时,碰到两个相关问题。

1.RuntimeError: multi-target not supported at …

这是编译CrossEntropyLoss()时的报错信息,原因如下。

我们一般会将多任务网络输出设为一组以为概率分布,如下所示:

prediction = tensor([0.01.0.2,0.5,0.2,0.01,0.98])

自然而然,我们计算损失时会想到用相同的概率分布形式,即one-hot型编码

target = tensor([1,0,0,0,0,0])

但其实这种traget是错的,CrossEntropyLoss中的target输入将自动转化为one-hot形式。我们要输入的其实是

第几种类类型,即

target = tensor([0]) 
#  CrossEntropy()将自动转化为tensor([1,0,0,0,0,0])
target = tensor([5]) 
#  CrossEntropy()将自动转化为tensor([0,0,0,0,0,1])

也可以更改 dataloader 中 dataset 中 def getitem(``self, index) 返回的 target 的内容(将 one hot 格式改成 数字格式 就行)。

2.使用squeeze降维注意事项

这是我在使用squeeze方法为tensor降维时遇到的。

报错信息为RuntimeError: dimension specified as 0 but tensor has no dimensions

在训练的valid和test中,不像train中有batchsize概念,当每一个训练样本只对应一个label时。

如果train中batchsize为16,那么不同环节中CrossEntropyLoss的target的size如下:

#train
>>print(label.size())
>>[161]
#valid,test
>>print(label.size())
>>[11]
#squeeze降维之后
#train
>>print(label.squeeze.size())
>>[16]
#valid,test
>>print(label.squeeze.size())
>>[]#Loss计算时会报错

shape为[]类型的tensor进行Loss计算时会出现shape不匹配的错误。

这是因为squeeze()会默认去除所有大小为1 的维度

解决方法为:

label = label.squeeze(label,1)

这样可以指定去除第二维的维度(其大小为1)。具体可以查看squeeze()的使用方法。

  • 4
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值