训练损失函数和验证损失函数都有一定程度的下降,但是,训练准确率和验证准确率一直不变
我觉得这种情况下,应该不是数据集的问题,需要看代码中计算正确标签和全部标签数量的语句,也就是以下两个语句:
total += target.size(0) # 总的标签数量 correct += (outputs1 == target).sum().item() #正确的标签数量
我的情况:将交叉熵损失函数: torch.nn.CrossEntropyLoss()
换成了二分类交叉熵损失函数:torch.nn.CrossEntropyLoss(),注意!此时,由于两个交叉熵损失函数所要求的张量维度不同,所以需要手动改变相关张量维度
官网上说torch.nn.CrossEntropyLoss()自带了sigmoid函数,所以我在模型中没有添加sigmoid层,但是在调试的时候发现模型的输出值很小,有些甚至有负值,但是,sigmoid函数的值在0~1之间。
原因:先进入模型,得到模型的预测值后,再将模型的预测值与真实值输入到损失函数中,在这个过程中,模型本身是没有sigmoid函数的,得到的预测值也是没有经过sigmoid函数调整的值,所以会有负值出现
outputs = model(inputs)
loss = criterion(outputs, target)
于是,在全连接层后面添加sigmoid函数,这样,模型的输出就是一个0~1之间的数,然后对输出值进行判断,小于0.5判为0,否则为1
outputs1 = torch.tensor([[1] if num[0] >= 0.5 else [0] for num in outputs]).to(device)
total += target.size(0) # batch_size
correct += (outputs1 == target).sum().item()
这样,就可以得到正确的准确率了