BCELoss

翰墨大人

于 2023-03-09 22:29:53 发布

阅读量373

点赞数 1

分类专栏： pytorch函数文章标签：深度学习 python 机器学习

本文链接：https://blog.csdn.net/qq_43733107/article/details/129432322

版权

pytorch函数专栏收录该内容

8 篇文章 0 订阅

订阅专栏

文章通过两个示例解释了单标签和多标签二分类问题中，使用Sigmoid激活函数和BinaryCrossEntropy损失函数进行计算的过程。在单标签情况下，计算涉及sigmoid转换后的概率与目标标签的交叉熵损失。在多标签场景下，处理方式类似，对每个样本的每个标签分别计算损失并平均。

摘要由CSDN通过智能技术生成

1：单标签二分类：N是样本数，Yn是标签。范围在**[0,1]**。
公式：
在这里插入图片描述
举个例子：

input = torch.Tensor([[0.8, 0.9, 0.3]])#, [0.8, 0.9, 0.3], [0.8, 0.9, 0.3], [0.8, 0.9, 0.3]])
target = torch.Tensor([[1, 1, 0]])#, [1, 1, 0], [1, 1, 0], [1, 1, 0]])
print(input.size())
print(target.size())
output = torch.sigmoid(input)
loss = F.binary_cross_entropy(input, target, reduction='mean')
print(loss)

input是三个样本，对应三个标签。
根据公式可以计算为：-1/3[(1xlog(sigmoid(0.8))+1xlog(sigmoid(0.9))+(1-0)x(log(1-(sigmoid(0.3)))
2:对于多标签的二分类。
计算公式：
在这里插入图片描述

input = torch.Tensor([[0.8, 0.9, 0.3], [0.8, 0.9, 0.3], [0.8, 0.9, 0.3], [0.8, 0.9, 0.3]])
target = torch.Tensor([[1, 1, 0], [1, 1, 0], [1, 1, 0], [1, 1, 0]])
print(input.size())
print(target.size())
output = torch.sigmoid(input)
print(output)
loss = F.binary_cross_entropy(output, target, reduction='mean')
print(loss)

首先要明白是几个样本，每个样本有几个标签。
答：有四个样本，非九个样本，每个样本三个标签，非0,1两个标签，看size也能看出来。
首先计算每个样本里面三个数据的损失：
在这里插入图片描述
第二第三个第四个同理。
总共损失就等于(0.522*4(每个样本数一样))/4(样本数)=0.522。