【冰糖Python】PyTorch：损失函数 BCELoss() BCEWithLogitsLoss() 和 CrossEntropyLoss()

最新推荐文章于 2024-09-25 15:54:31 发布

冰糖不在家

最新推荐文章于 2024-09-25 15:54:31 发布

阅读量6k

点赞数 3

分类专栏： PyTorch Python 文章标签： python

本文链接：https://blog.csdn.net/xiaoxiao_ziteng/article/details/114399037

版权

Python 同时被 2 个专栏收录

60 篇文章 0 订阅

订阅专栏

PyTorch

17 篇文章 1 订阅

订阅专栏

PyTorch中提供了很多种损失函数，常用于分类的是 torch.nn.BCELoss()、torch.nn.BCEWithLogitsLoss() 和 torch.nn.CrossEntropyLoss()

其中，torch.nn.BCELoss()、torch.nn.BCEWithLogitsLoss() 用于二分类问题， torch.nn.CrossEntropyLoss() 既可用于二分类又可用于多分类

以下对这三项进行辨析（PyTorch 1.8.0）

1、torch.torch.nn.BCELoss()

此损失函数衡量输出与目标之间的二分类交叉熵

torch.torch.nn.BCELoss(weight=None, reduction='mean')

weight：默认 None，用于计算损失的手动尺度化的权重，张量

reduction：默认 'mean'，指定应用于输出的缩减方式，另可选 'none'，'sum'；'none'：不应用缩减；'mean'：输出的和除以输出内元素数；'sum'：输出加和

输入：input -- 形状为 $\left ( N,* \right )$ ，为样本数量，为任意其他维度

输入：target -- 形状 $\left ( N,* \right )$ ，形状同input

输出：output -- 标量（reduction若为none，则形状同input）

未缩减的 loss 可以表示为：

$l\left ( x,y \right )=L=\left \{ l_{1},...,l_{N} \right \}^{T},\; l_{n}=-w_{n}\left [ y_{n}\cdot logx_{n} \right+\left ( 1-y_{n} \right )\cdot log\left ( 1-x_{n} \right ) ]$

其中是 batch 的大小；

如果参数 reduction 不是 'none'，则有：

$l\left ( x,y \right )=\left\{\begin{matrix} mean\left ( L \right ) ,\; if\; reduction='mean' \\ sum\left ( L \right ),\; if\; reduction='sum' \end{matrix}\right.$

目标应为0到1之间的数字；

BCELoss 将log函数的输出限定为始终大于等于-100；

2、torch.nn.BCEWithLogitsLoss()

此损失函数将 Sigmoid 层和 BCELoss 整合在一起

比简单地将 Sigmoid 层加上 BCELoss 损失更稳定，因为使用了 log-sun-exp 技巧获得数值稳定性

torch.nn.BCEWithLogitsLoss(weight=None, reduction='mean', pos_weight=None)

weight：默认 None，用于计算损失的手动尺度化的权重，张量

reduction：默认 'mean'，指定应用于输出的缩减方式，另可选 'none'，'sum'；'none'：不应用缩减；'mean'：输出的和除以输出内元素数；'sum'：输出加和

pos_weight：默认 None，正例的权重，需为长度为类别数的向量；

输入：input -- 形状为 $\left ( N,* \right )$ ，为样本数量，为任意其他维度

输入：target -- 形状 $\left ( N,* \right )$ ，形状同input

输出：output -- 标量（reduction若为none，则形状同input）

未缩减的 loss 可以表示为：

$l\left ( x,y \right )=L=\left \{ l_{1},...,l_{N} \right \}^{T},\; l_{n}=-w_{n}\left [ y_{n}\cdot logx_{n} \right+\left ( 1-y_{n} \right )\cdot log\left ( 1-x_{n} \right ) ]$

其中是 batch 的大小；

如果参数 reduction 不是 'none'，则有：

$l\left ( x,y \right )=\left\{\begin{matrix} mean\left ( L \right ) ,\; if\; reduction='mean' \\ sum\left ( L \right ),\; if\; reduction='sum' \end{matrix}\right.$

目标应为0到1之间的数字；

可以通过为正例赋权值来平衡 recall 和 precision；

在多标签分类中，loss 可以表示为：

$l_{c}\left ( x,y \right )=L_{c}=\left \{ l_{1,c},...,l_{N,c} \right \}^{T},\\l_{n,c}=-w_{n,c}\left [ p_{c}y_{n,c}\cdot log\sigma \left ( x_{n,c} \right ) \right +\left ( 1-y_{n,c} \right )\cdot log\left ( 1-\sigma \left ( x_{n,c} \right ) \right )]$

其中为类的数量，大于1时为多标签二分类，等于1时为单标签二分类问题；

$p_{c}$ 为对类分为正例的权重，大于1时会增大 recall，小于1时增加 precision；

如果数据集包含20个正例样本，100个负例样本，则 pos_weight 中此类的权重为100/20=5，此时计算loss时犹如数据包含5*20=100个正例样本；

3、torch.nn.CrossEntropyLoss()

此损失函数将 LogSoftmax 和 NLLLoss 的特点进行了整合，用于类的分类问题

torch.nn.CrossEntropyLoss(weight=None, ignore_index=-100, reduction='mean')

weight：默认 None，用于计算损失的手动尺度化的权重，大小为的一维张量

ignore_index：默认-100，指定对输入梯度无贡献的应被忽略的目标值的阈值

reduction：默认'mean'，指定应用于输出的缩减方式，另可选 'none'，'sum'；'none'：不应用缩减；'mean'：输出的和除以输出内元素数；'sum'：输出加和

输入：input -- 形状为 $\left ( N,C \right )$ ，为样本数量，为类别数，输入应为原始的未经标准化的每一类的得分；

输入：target -- 形状 $\left ( N \right )$ ，将类的索引 $\left [ 0,C-1 \right ]$ 作为目标值；

输出：output -- 标量（reduction若为none，则形状同target）

loss可以表示为：

$loss\left ( x,class \right )=-log\left ( exp\left ( x\left [ class \right ] \right )/\sum _{j}exp\left ( x\left [ j \right ] \right ) \right ) \\ =-x\left [ class \right ]+log\left ( \sum _{j}exp\left ( x\left [ j \right ] \right ) \right )$

当 weight 参数指定时：

$loss\left ( x,class \right )=weight\left [ class \right ]\left ( -x\left [ class \right ]+log\left ( \sum _{j}exp\left ( x\left [ j \right ] \right ) \right ) \right )$