pytorch学习-torch.nn.BCELoss（）和torch.nn.BCEWithLogitsLoss（）

最新推荐文章于 2024-07-27 17:29:13 发布

368chen

最新推荐文章于 2024-07-27 17:29:13 发布

阅读量2w

点赞数 11

文章标签： pytorch

1. BCELoss

class torch.nn.BCELoss(weight=None, size_average=True, reduce=True)

作用：

计算target 和output 间的二值交叉熵(Binary Cross Entropy)

$l(x,y)=L=\left \{ l_{1},...,l_{N} \right \}^{T}$

$l_{n}=-w_{n}[y_{n}*logx_{n}+(1-y_{n})*log(1-x_{n})]$

N :batchsize

如果reduce =True

l(x,y)=mean(L),if size_average=True
l(x,y)=sum(L),if size_average=False

用于计算重构误差，如anto-encoder 中

targets y的值是在0和1之间

参数

weight(Tensor,optional) - 每个batch 元素的权重.
size_average- 默认为True.
True,losses 在minibatch 结合weight 求平均average.
False,losses 在minibatch 求相加和sum.
当reduce=False 时,忽略该参数.
reduce 默认为True
True,losses 在minibatch 求平均或相加和
False,losses 返回per input/target 元素值, 并忽略size_average
输入-input x,(N,*)
输入-target y,(N,*)
输出- 如果reduce=True，输出标量值，如果reduce=False，输入和输出一致,(N,*)

示例

import torch 
import torch.nn as nn
sig = nn.Sigmoid()
loss = nn.BCELoss()
input = torch.randn(3, requires_grad=True)
target = torch.empty(3).random_(2)
output = loss(sig(input), target)
output.backward()

2. BCEWithLogitsLoss

class torch.nn.BCEWithLogitsLoss(weight=None, size_average=True, reduce=True)

作用

该loss 层包括了 Sigmoid 层和BCELoss 层. 单类别任务.

数值计算稳定性更好(log-sum-exp trik), 相比于Sigmoid +BCELoss.

$l(x,y)=L=\left \{ l_{1},...,l_{N} \right \}^{T}$

$l_{n}=-w_{n}[t_{n}*log\sigma (x_{n})+(1-t_{n})*log(1-\sigma (x_{n}))]$

如果 reduce =True，

l(x,y)=mean(L),if size_average=True
l(x,y)=sum(L),if size_average=False

用于计算重构误差，如auto-encoder 中.

target t[i] 的值是0 和1 之间的数值.

参数

weight(Tensor,optional) - 每个batch 元素的权重.
size_average- 默认为True.
True,losses 在minibatch 结合weight 求平均average.
False,losses 在minibatch 求相加和sum.
当reduce=False 时,忽略该参数.
reduce 默认为True
True,losses 在minibatch 求平均或相加和
False,losses 返回per input/target 元素值, 并忽略size_average
输入-input x,(N,*)
输入-target y,(N,*)
输出- 如果reduce=True，输出标量值，如果reduce=False，输入和输出一致,(N,*)