pytorch学习-torch.nn.BCELoss()和torch.nn.BCEWithLogitsLoss()

1. BCELoss

class torch.nn.BCELoss(weight=None, size_average=True, reduce=True)

  • 作用:

计算target 和output 间的二值交叉熵(Binary Cross Entropy)

 l(x,y)=L=\left \{ l_{1},...,l_{N} \right \}^{T}

l_{n}=-w_{n}[y_{n}*logx_{n}+(1-y_{n})*log(1-x_{n})]

N :batchsize

如果reduce =True

l(x,y)=mean(L),if size_average=True
l(x,y)=sum(L),if size_average=False

用于计算重构误差,如anto-encoder 中

targets y的值是在0和1之间

  • 参数
weight(Tensor,optional) - 每个batch 元素的权重.
size_average- 默认为True.
True,losses 在minibatch 结合weight 求平均average.
False,losses 在minibatch 求相加和sum.
当reduce=False 时,忽略该参数.
reduce 默认为True
True,losses 在minibatch 求平均或相加和
False,losses 返回per input/target 元素值, 并忽略size_average
输入-input x,(N,*)
输入-target y,(N,*)
输出- 如果reduce=True,输出标量值,如果reduce=False,输入和输出一致,(N,*)

  • 示例
import torch 
import torch.nn as nn
sig = nn.Sigmoid()
loss = nn.BCELoss()
input = torch.randn(3, requires_grad=True)
target = torch.empty(3).random_(2)
output = loss(sig(input), target)
output.backward()

2. BCEWithLogitsLoss

class torch.nn.BCEWithLogitsLoss(weight=None, size_average=True, reduce=True)

  • 作用

该loss 层包括了 Sigmoid 层和BCELoss 层. 单类别任务.

数值计算稳定性更好(log-sum-exp trik), 相比于Sigmoid +BCELoss.

l(x,y)=L=\left \{ l_{1},...,l_{N} \right \}^{T}

l_{n}=-w_{n}[t_{n}*log\sigma (x_{n})+(1-t_{n})*log(1-\sigma (x_{n}))]

如果 reduce =True,

l(x,y)=mean(L),if size_average=True
l(x,y)=sum(L),if size_average=False

用于计算重构误差,如auto-encoder 中.

target t[i] 的值是0 和1 之间的数值.

  • 参数
weight(Tensor,optional) - 每个batch 元素的权重.
size_average- 默认为True.
True,losses 在minibatch 结合weight 求平均average.
False,losses 在minibatch 求相加和sum.
当reduce=False 时,忽略该参数.
reduce 默认为True
True,losses 在minibatch 求平均或相加和
False,losses 返回per input/target 元素值, 并忽略size_average
输入-input x,(N,*)
输入-target y,(N,*)
输出- 如果reduce=True,输出标量值,如果reduce=False,输入和输出一致,(N,*)

 

©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页