损失函数基本概念
损失函数是用来评估模型预测值与真实值的不一致程度,它是一个值为非负实数的函数。损失函数越小,模型的鲁棒性就越好,就表示算法越接近意义上的最优。我们训练模型的过程,就是通过不断的迭代计算,使用梯度下降等优化算法不断调整参数,使得损失函数越来越小。PyTorch使用mini-batch来进行计算,因此PyTorch中损失函数计算出来的结果已经对mini-batch取了平均。
常见损失函数及基本用法
PyTorch中损失函数可以通过torch.nn获取,基本用法如下:
# 每个损失函数的构造函数都会有自己的参数 criterion = LossCriterion()loss = criterion(x, y)
PyTorch内置的常用的损失函数主要有如下几种。
- nn.L1Loss
L1范数损失,计算的是输入x和目标y之间差的绝对值,其中,x和y的维度必须一致,得到的loss维度也是对应一样的。
![8525610b77357296c87a969112f12198.png](https://i-blog.csdnimg.cn/blog_migrate/b63fce5f8cd879cae10f7a0ad364ee7f.jpeg)
L1Loss计算公式
nn.L1Loss的基本用法如下。