概念:
损失函数是指用于计算标签值和预测值之间差异的函数,在机器学习过程中,有多种损失函数可供选择,典型的有距离向量,绝对向量等。
上图是一个用来模拟线性方程自动学习的示意图。粗线是真实的线性方程,虚线是迭代过程的示意,w1是第一次迭代的权重,w2是第二次迭代的权重,w3是第三次迭代的权重。随着迭代次数的增加,我们的目标是使得wn无限接近真实值。
图中1/2/3这三个标签分别是3次迭代过程中预测Y值和真实Y值之间的差值(这里差值就是损失函数的意思了,当然了,实际应用中存在多种差值计算的公式),这里的差值示意图上是用绝对差来表示的。在多维空间中还有平方差,均方差等多种不同的距离计算公式,也就是损失函数了。
常见损失函数的计算方法:
import torch
from torch.autograd import Variable
import torch.nn as nn
import torch.nn.functional as F
sample = Variable(torch.ones(2,2))
a = torch.Tensor(2,2)
a[0,0] = 0
a[0,1] = 1
a[1,0] = 2
a[1,1] = 3
target = Variable(a)
注:Pytorch中为求导提供了专门的包,包名叫autograd。如果用autograd.Variable来定义参数,则Variable自动定义了两个变量,data代表原始权重数据;而grad代表求导后的数据,也就是梯度。每次迭代过程就用这个grad对权重数据进行修正。
1. nn.L1Loss损失函数
L1Loss计算方法很简单,取预测值和真实值的绝对误差的平均数即可。
criterion = nn.L1Loss()
loss = criterion(sample, target)
print(loss)
# 1
最后输出结果为1
计算逻辑如为:
- 先计算绝对差总和:|0-1|+|1-1|+|2-1|+|3-1| = 4
- 然后再平均:4/4 = 1
2. nn.SmoothL1Loss
SmoothL1Loss也叫作Huber Loss,误差在(-1,1)上是平方损失,其他情况是L1损失。
criterion = nn.SmoothL1Loss()
loss = criterion(sample, target)
print(loss)
# 0.625
最后输出结果为0.625
计算逻辑如为:
- 先计算绝对差总和:
- 然后再平均:2.5/4 = 0.625
3. nn.MSELoss
平方损失函数。其计算公式是预测值与真实值之间的平方和的平均数。
criterion = nn.MSELoss()
loss = criterion(sample, target)
print(loss)
# 1.5
最后输出结果为1.5
计算逻辑如为:
- 先计算绝对差总和:
- 然后再平均:6/4 = 1.5
4. nn.BCELoss
二分类用的交叉熵,其计算公式较复杂,这里主要是有个概念即可,一般情况下不会用到。
criterion = nn.BCELoss()
loss = criterion(sample, target)
print(loss)
# -13.8155