Pytorch 的损失函数Loss function使用详解

参考  Pytorch 的损失函数Loss function使用详解 - 云+社区 - 腾讯云

目录

1、损失函数

1、nn.L1Loss

2、nn.SmoothL1Loss

3、nn.MSELoss

4、nn.CrossEntropyLoss

5、nn.BCELoss

6、nn.NLLLoss

7、nn.NLLLoss2d

8、BCEWithLogitsLoss 与 MultilabelSoftMarginLoss

9、比较BCEWithLogitsLoss和TensorFlow的 sigmoid_cross_entropy_with_logits；softmax_cross_entropy_with_logits

2、其他不常用loss

---

1、损失函数

损失函数，又叫目标函数，是编译一个神经网络模型必须的两个要素之一。另一个必不可少的要素是优化器。

损失函数是指用于计算标签值和预测值之间差异的函数，在机器学习过程中，有多种损失函数可供选择，典型的有距离向量，绝对值向量等。

损失Loss必须是标量，因为向量无法比较大小（向量本身需要通过范数等标量来比较）。

损失函数一般分为4种，平方损失函数，对数损失函数，HingeLoss 0-1 损失函数，绝对值损失函数。

我们先定义两个二维数组，然后用不同的损失函数计算其损失值。

import torch
from torch.autograd import Variable
import torch.nn as nn
import torch.nn.functional as F
sample = Variable(torch.ones(2,2))
a=torch.Tensor(2,2)
a[0,0]=0
a[0,1]=1
a[1,0]=2
a[1,1]=3
target = Variable (a)

sample 的值为：[[1,1],[1,1]]。

target 的值为：[[0,1],[2,3]]。

1、nn.L1Loss

L1Loss 计算方法很简单，取预测值和真实值的绝对误差的平均数即可。

criterion = nn.L1Loss()
loss = criterion(sample, target)
print(loss)

最后结果是：1。

它的计算逻辑是这样的：

先计算绝对差总和：|0-1|+|1-1|+|2-1|+|3-1|=4；

然后再平均：4/4=1。

2、nn.SmoothL1Loss

SmoothL1Loss 也叫作 Huber Loss，误差在 (-1,1) 上是平方损失，其他情况是 L1 损失。

criterion = nn.SmoothL1Loss()
loss = criterion(sample, target)
print(loss)

最后结果是：0.625。

3、nn.MSELoss

平方损失函数。其计算公式是预测值和真实值之间的平方和的平均数。

               

criterion = nn.MSELoss()
loss = criterion(sample, target)
print(loss)

最后结果是：1.5。

4、nn.CrossEntropyLoss

需要注意的是，target输入必须是 tensor long 类型（int64位）

import torch 
# cross entropy loss
pred = np.array([[0.8, 2.0, 1.2]])