[机器学习] Pytorch19种损失函数理解[上]— L1、MSE、CrossEntropy、KL、BCE、BCEWithLogits loss function

最新推荐文章于 2024-01-04 11:32:08 发布

心心喵

最新推荐文章于 2024-01-04 11:32:08 发布

阅读量592

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/Trance95/article/details/117959036

版权

机器学习专栏收录该内容

33 篇文章 14 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了PyTorch中常用的六种损失函数，包括L1范数损失、均方误差损失、交叉熵损失、KL散度损失、二元交叉熵损失和BCEWithLogitsLoss。详细解释了各损失函数的计算方式、应用场景及参数含义，帮助理解它们在机器学习和深度学习中的作用。

摘要由CSDN通过智能技术生成

损失函数通过torch.nn包实现。

文章目录

1 基本用法

criterion = LossCriterion() #构造函数有自己的参数
loss = criterion(x, y) #调用标准时也有参数

2 损失函数（前6种）

2-1 L1范数损失 —— L1_Loss

计算 output 和 target 之差的绝对值。

torch

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

心心喵

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

pytorch 3 mae、mse、BCELoss、BCEWithLogitsLoss和CrossEntropyLoss等loss的使用

a486259的博客

01-04

4714

在深度学习任务中，根据loss的设计可以简单的分为线性回归、逻辑回归和softmax回归。一、线性回归loss 其中线性回归是指拟合一个线性函数，通常用mse、mae来评价模型的拟合效果，此外mse、mae还可以作为loss训练模型。需要格外注意的是loss值的大小毫无意义，只有梯度值才是决定模型学习的方向。只是，一般情况下loss与梯度呈现正相关，loss大，则梯度也大。在线性回归中，y_pred的shape与y_true是一模一样的 1.1 mse的使用当用mse为评价指标时，才用考虑异常值

Pytorch学习之十九种损失函数

mango_x的博客

11-18

204

https://blog.csdn.net/shanglianlm/article/details/85019768

参与评论您还未登录，请先登录后发表或查看评论

25_PyTorch的十九个损失函数（L1Loss、MSELoss、CrossEntropyLoss 、CTCLoss、NLLLoss、PoissonNLLLoss 、KLDivLoss等）

涂作权的博客

02-10

4908

1.20.PyTorch的十九个损失函数 1.20.1.L1Loss（L1范数损失） 1.20.2.MSELoss（均方误差损失） 1.20.3.CrossEntropyLoss （交叉熵损失） 1.20.4.CTCLoss（连接时序分类损失） 1.20.5.NLLLoss（负对数似然损失） 1.20.6.PoissonNLLLoss (目标泊松分布的负对数似然损失) 1.20.7.KLDivLoss（KL散度损失） 1.20.8.BCELoss（二进制交叉熵损失） 1.20.9.BCEWithLogits

L1损失（MAE）、L2损失（MSE）

热门推荐

MOL

06-05

3万+

目录均绝对误差(L1Loss) 均方误差MSE (L2 Loss) MSE和MAE的选择总结均绝对误差(L1Loss) 均绝对误差（Mean Absolute Error,MAE) 是指模型预测值f(x)和真实值y之间距离的均值，其公式如下：忽略下标i，设n=1，以f(x)−y为横轴，MAE的值为纵轴，得到函数的图形如下： MAE曲线连续，但是在y−f(x)=0处不可导。而且 MAE 大部分情况下梯度都是相等的，这意味着即使对于小的损失值，其梯度也是大的。这不利于函数的收敛...

[计算机视觉]-MSE、MEA、L1、L2、smooth L1解释及优缺点

ai_faker的博客

05-31

6648

MAE损失函数 MAE=∑i=1n∣yi−yip1∣nM A E=\frac{\sum_{i=1}^{n} \mid y_{i}-y_{i}^{p_{1}} \mid}{n}MAE=n∑i=1n∣yi−yip1∣ 以分类问题举例。对于上式中，yiy_{i}yi代表真实值，yipy_{i}^{p}yip代表预测值。下面是一个MAE函数的图，其中真实目标值为100，预测值在-10,000至10,000之间。预测值（X轴）= 100时，MSE损失（Y轴）达到其最小值。损失范围为0至∞。优点

深度学习——常见损失函数Loss：L1 ，L2 ，MSE ，Binary Cross ，Categorical Cross ，Charbonnier ，Weighted TV ，PSNR

qq_40280673的博客

11-08

1万+

在深度学习中，损失函数是一个核心组件，它度量模型的预测结果与真实值之间的差异。通过最小化损失函数的值，模型能够在训练过程中逐渐改善其性能。损失函数为神经网络提供了一个明确的优化目标，是连接数据和模型性能的重要桥梁。

Pytorch 的损失函数Loss function使用详解

weixin_36670529的博客

05-11

1万+

目录 1、损失函数 1、nn.L1Loss 2、nn.SmoothL1Loss 3、nn.MSELoss 4、nn.CrossEntropyLoss 5、nn.BCELoss 6、nn.NLLLoss 7、nn.NLLLoss2d 8、BCEWithLogitsLoss 与 MultilabelSoftMarginLoss 9、比较BCEWithLogitsLoss和Tenso...

BCELOSS和MSELOSS区别(pytorch BCELoss and MSELoss）

My_Communication的博客

05-28

2621

BCELoss torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction=‘mean’) 评价预测值与真值的 Binary Cross Entropy l(x,y)=L={l1,l2,...lN}T,ln=−ωn[ynlogxn+(1−yn)log(1−xn)] l(x,y) = L = \{ l_1, l_2, ... l_N\}^T, l_n = - \omega_n[y_nlogx_n+(1-y_n)log(1-x_

【AI面试】分类损失横评：CrossEntropy Loss 、Balanced Cross Entropy、 Dice Loss 和 Focal Loss

钱多多先森

05-24

1272

分类损失学习汇总

损失函数MSE和MAE的区别以及如何选择

诚朴求食

06-21

8682

损失函数MSE和MAE的区别，如何进行选择

【损失函数】深度学习回归任务中你必须了解的三种损失函数，绝对误差损失（L1 Loss、MAE）均方误差损失（L2 Loss、MSE）以及平滑L1损失（Huber Loss）（2024最新整理）

最新发布

Next_SummerAgain的博客

01-04

9395

是预测值和真实值之差的绝对值的总和。其中，是样本数量，是第个样本的真实值，是第个样本的预测值。

Pytorch深度学习-----损失函数（L1Loss、MSELoss、CrossEntropyLoss）

LGL

08-07

2198

如果设置为 True，则对输入批次的输出进行减少，返回一个标量。如果设置为 False，则返回每个输入批次的输出的张量。如果设置为 True，则对输入批次的输出进行减少，返回一个标量。如果设置为 False，则返回每个输入批次的输出的张量。如果设置为 ‘mean’，则对输入批次的输出进行平均。如果设置为 ‘none’，则不进行减少，返回每个输入批次的输出的张量。如果设置为 ‘mean’，则对输入批次的输出进行平均。如果设置为 ‘none’，则不进行减少，返回每个输入批次的输出的张量。

L1 loss 和 L2 loss 比较

ls83776736的博客

07-10

1万+

1、L1 loss 在零点不平滑，用的较少 2、Smooth L1 Loss 修改零点不平滑问题 3、L2 loss：对离群点比较敏感，如果feature 是 unbounded的话，需要好好调整学习率，防止出现梯度爆炸的情况[fast rcnn] 4、一般来说，L1正则会制造稀疏的特征，大部分无用特征的权重会被置为0。 L2正则会让特征的权重不过大，使得特征的权重比较平均。 5、...

深度学习里的损失函数与交叉熵

bitcarmanlee的博客

11-22

3256

1.MSE损失函数 损失函数是机器学习与深度学习里面的重要概念。从名字上就可以看出，损失函数(Loss Function)反应的是模型对数据的拟合程度。一般来说，损失函数越小，说明模型对数据的拟合也越好。同时我们还希望当损失函数比较大的时候，对应的梯度也会比较大，这样梯度下降的时候更新也会快一些。线性回归中，最常用的就是最小平方误差(MSE)了。MSE也相当简单: Lossmse=∑i=1n(y...

关于MSELoss、BCELoss、CELoss损失函数求导的推导

zzl12880的博客

12-22

2413

本文推导了机器学习中常用的三个损失函数求导过程，帮助进一步理解损失函数对权重的求导是如何实现的

BCE、CE、MSE损失函数

qq_42251157的博客

05-13

4096

一、BCELoss 代码实现分别提供两种方式：一种是调用官方的nn.BCELoss的API，另一种是自定义函数实现： # 1、使用API import torch import torch.nn as nn torch.manual_seed(15) output = torch.randn([2,3]) print("output:","\n",output) target = torch.tensor([[0,0,1],[1,0,0]],dtype=torch.float32) print("ta

神经网络的损失函数

myc的博客

10-22

2万+

1、L1loss 这个就是我们常说的L1范数，简单说就是计算输出值与真实值之间误差的绝对值大小。loss=∣xi−yi∣loss=|x_{i}-y_{i}|loss=∣xi−yi∣由于L1 loss在零点不平滑，所以用的比较少。 2、SmoothL1Loss L1loss的平滑版。如果绝对元素误差低于1则使用平方项的标准，否则L1项。它对异常值的敏感度低于MSELoss，并且在某些情况下可以...

mseloss pytorch_PyTorch中的损失函数--L1Loss /L2Loss/SmoothL1Loss

weixin_39875192的博客

11-21

2569

L1Loss也就是L1 Loss了，它有几个别称： L1 范数损失最小绝对值偏差（LAD）最小绝对值误差（LAE）最常看到的MAE也是指L1 Loss损失函数。它是把目标值与模型输出（估计值）做绝对值得到的误差。什么时候使用？回归任务简单的模型由于神经网络通常是解决复杂问题，所以很少使用。L2Loss也就是L2 Loss了，它有几个别称： L2 范数损失最小均方值偏差（LSD） ...