pytorch损失函数

已于 2023-03-14 11:27:01 修改
阅读量1.1k 收藏
点赞数
分类专栏： python基础 pytorch基础 文章标签： pytorch python 深度学习
于 2021-10-27 20:54:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43559672/article/details/121001571
版权

L1 Loss（Mean Absolute Error，MAE）
pytorch代码：

torch.nn.L1Loss()

L2 Loss（Mean Squared Error，MSE）
pytorch代码：

torch.nn.MSELoss()

L1Loss和MSELoss的参数：
旧版的函数有reduce、size_average两个参数，新版的只有一个reduction参数了，功能是一样的。
reduction的意思是维度要不要缩减，以及怎么缩减，有三个选项：

交叉熵损失

loss = torch.nn.CrossEntropyLoss()
l = loss(y_hat, y)

这里的y_hat是一个向量，测试时可以得到独热码，而标签为一个数。y_hat并没有经过softmax，而是在计算损失的同时进行softmax。
RuntimeError: bool value of Tensor with more than one value is ambiguous

nn.CrossEntropyLoss() 是一个类，应该先行进行实例化。写代码时候粗心会导致这个错误，但是又不容易察觉出来。
预测size为 (batch classes)， classes为类别数，不需要进行argmax和softmax，
标签size为(batch)

豪言成笑谈
关注
专栏目录
损失函数技术总结
CV技术指南（微信公众号）
06-18 472
前言： 一直想写损失函数的技术总结，但网上已经有诸多关于损失函数综述的文章或博客，考虑到这点就一直拖着没写，直到有一天，我将一个二分类项目修改为多分类，简简单单地修改了损失函数，结果一直有问题，后来才发现是不同函数的标签的设置方式并不相同。 为了避免读者也出现这样的问题，本文中会给出每个损失函数的pytorch使用示例，这也是本文与其它相关综述文章或博客的区别所在。希望读者在阅读本文时，重点关注一下每个损失函数的使用示例中的target的设置问题。 本文对损失函数的类别和应用场景，常...
PyTorch学习笔记（17）损失函数（二）
qq_33357094的博客
02-27 532
损失函数 nn.L2Loss 功能 计算inputs 与 target 之差的绝对值 ln=∣xn−yn∣ l_{n}=\left|x_{n}-y_{n}\right|ln​=∣xn​−yn​∣ nn.MSELoss 功能 计算inputs 与 target 之差的平方 ln=(xn−yn)2 l_{n}=\left(x_{n}-y_{n}\right)^{2}ln​=(xn​−yn​)2 主要参...
【pytorch】对照原理，自己实现pytorch自带的损失函数：L1Loss，L2Loss，BCELoss，BCEWithLogitsLoss，NLLLoss，CrossEntropyLoss
种一棵树最好的时间是十年前，其次是现在
04-24 3631
nn.L1Loss绝对值损失 #1批4个求损失和 def L1Loss(y,yhead): return torch.mean(torch.abs(y-yhead)) y=torch.rand(4,3) yhead=torch.rand(4,3) print(L1Loss(y,yhead)) print(nn.L1Loss(reduction='mean')(y,yhead)) 输出： tensor(0.4083) tensor(0.4083) #nn.MSELoss均方损失 def L2Los
一文详解L1-loss和L2-loss(pytorch版本)
lichaoqi1的博客
03-23 8756
import torch.nn as nn import torch pixelwise_loss = nn.L1Loss(reduction='mean') #平均绝对误差,L1-损失 loss2=nn.MSELoss() #L2-损失 x1=torch.zeros([2,2]) x2=torch.ones([2,2]) x3=torch.tensor([[0.125,0.5],[0.5,0.5]]) y=pixelwise_loss(x3,x2) print('L1Loss:',y.item())
Pytorch学习（十）Pytorch中常用的损失函数
qq_37297763的博客
05-12 1422
1. torch.nn.CrossEntropyLoss CrossEntropyLoss的作用相当于将nn.LogSoftmax()和nn.NLLLoss()结合在一起，nn.LogSoftmax()相当于先对输入矩阵计算softmax值，然后取log。举例说明这几个函数的功能： （1）使用nn.Softmax() + torch.log()来模拟nn.LogSoftmax() import torch import torch.nn as nn # 随机生成输入 input = torch.randn
【损失函数】(二) L2Loss原理 & pytorch代码解析
Lizhi_Tech的博客
07-27 4237
直入主题，这次来介绍L2loss的原理以及pytorch代码用法。
pytorch损失函数详解
qq_37844044的博客
09-14 378
目录 nn.L1loss nn.CrossEntropyLoss nn.MSELoss nn.BCELoss nn.L1loss: 两者绝对值作差，然后求和平均loss(x,y)=1/n∑ \sum∑ |x_i-y_i| crite = torch.nn.L1Loss() loss = crite(output, target) nn.CrossEntropyLoss: 这是交叉熵损失函数，常用于分类函数。主要是判断实际输出与期望输出的接近程度。 熵： 是用来衡量混乱程度的表示，代表一个样本中信息量的
Pytorch损失函数nn.NLLLoss2d()用法说明
09-16
在PyTorch中，损失函数是衡量模型预测与真实标签之间差距的重要工具，nn.NLLLoss2d()是其中一种损失函数，主要用于二维数据，如图像处理任务。它全称为Negative Log Likelihood Loss（负对数似然损失），在分类问题...
pytorch 损失函数
07-27
PyTorch 提供了许多常用的损失函数，用于衡量模型输出与真实值之间的差异。以下是一些常见的 PyTorch 损失函数： 1. `nn.MSELoss()`：均方误差损失函数，用于回归任务。 2. `nn.L1Loss()`：绝对值损失函数，也用于...
Loss_ToolBox-PyTorch:PyTorch实现焦点损失和Lovasz-Softmax损失
05-24
Loss_ToolBox 介绍 该存储库包括3D图像分割的几处损失。 （PS：从借一些代码） （根据常规实现修改）
pytorch常用函数手册
最新发布
03-07
损失函数 - **交叉熵损失**： - `nn.CrossEntropyLoss()`：常用于多分类任务。 - 示例：`loss_fn = nn.CrossEntropyLoss()` - **均方误差损失**： - `nn.MSELoss()`：适用于回归任务。 - 示例：`loss_fn = nn....
焦点损失函数 Pytorch实现
雅痞匪徒(Nike)的博客
11-04 2585
看了一篇论文，然后这篇论文里面就只是将损失函数从常见的单分类多分类函数转化为了焦点损失函数，看论文里面的效果，效果还出奇的好，很奇怪，难道就只是改一个损失函数就这么牛逼？于是，我也想着把之前的网络的损失函数改一改，看看这个损失函数是否是真的这么牛逼。 pytorch自带的损失函数中，我没有找到对应的焦点损失函数的接口，没办法，只能去看原理然后参考其他人的代码改改或者写吧，找到几个实现焦点损失函数的大佬代码，但是总感觉他们的代码有些奇怪。比如：pytorch实现焦点函数比较靠谱的参考，这个作者给的代码，我如果
potorch 在loss中加入l2正则
qq_36955294的博客
11-29 4002
正则化应该是模型每一层的加权参数，而不是每一层的输出。 import torch from torch.autograd import Variable from torch.nn import functional as F class MLP(torch.nn.Module): def __init__(self): super(MLP, self).__ini...
Pytorch机器学习（五）——目标检测中的损失函数（l2，IOU，GIOU，DIOU, CIOU）
lzzzzzzm的博客
08-30 4826
Pytorch机器学习（五）——目标检测中的损失函数（l2，IOU，GIOU,CIOU） 目录 Pytorch机器学习（五）——目标检测中的损失函数（l2，IOU，GIOU,CIOU） 前言 一、l2范数损失 二、IOU损失 二、GIOU损失 三、CIOU损失 总结 前言 目标检测领域，从发展到现在这个阶段，出现过很多次有关预测框损失函数的讨论与更新，从l2范数损失，到IOU损失，GIOU损失，DIOU损失等等，今天记录一下有关l2范数损失，IOU损失和GIOU损失 .
速成pytorch学习——8天损失函数
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
09-20 705
一般来说，监督学习的目标函数由损失函数和正则化项组成。(Objective = Loss + Regularization) Pytorch中的损失函数一般在训练模型时候指定。 注意Pytorch中内置的损失函数的参数和tensorflow不同，是y_pred在前，y_true在后，而Tensorflow是y_true在前，y_pred在后。 对于回归模型，通常使用的内置损失函数是均方损失函数nn.MSELoss 。 对于二分类模型，通常使用的是二元交叉熵损失函数nn.BCELoss (输入已经是s
(三)pytorch中损失函数
qq_23123181的博客
04-11 5853
损失函数可以分为三类：回归损失函数、分类损失函数和排序损失函数 1、L1 loss 计算实际值和预测值之间的绝对值之和的平均值。 y表示标签，pred表示预测值。（回归问题），当目标变量的分布具有异常值时，即与平均值相差很大的值，它被认为对异常值具有很好的鲁棒性。 import torch def lossTest(): input=torch.randn(3,5,requires_grad=True) target=torch.randn(3,5) mae_loss=
pytorch的损失函数理解
lvxingvir_sigma的博客
01-13 674
对于loss的定义和选择，是决定一个模型能否收敛甚至是针对特定问题是否能够进行灵活应用的基石，因而对于loss的理解和把握是炼丹师的基本数学修养。从pytorch的loss的使用来看，是对于loss的理解的一个很好的入口。 https://blog.csdn.net/jacke121/article/details/82812218 对于Loss的理解应该是无止境的，有如下的一些比较高阶...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值