一文详解L1-loss和L2-loss(pytorch版本)

最新推荐文章于 2024-09-12 09:11:48 发布
最新推荐文章于 2024-09-12 09:11:48 发布
阅读量8.7k 收藏
点赞数
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lichaoqi1/article/details/123677001
版权 
import torch.nn as nn
import torch
pixelwise_loss = nn.L1Loss(reduction='mean')  #平均绝对误差,L1-损失
loss2=nn.MSELoss()  #L2-损失
x1=torch.zeros([2,2])
x2=torch.ones([2,2])
x3=torch.tensor([[0.125,0.5],[0.5,0.5]])
y=pixelwise_loss(x3,x2)
print('L1Loss:',y.item())
print(((1-0.125)+0.5*3)/4)
y1=loss2(x3,x2)
print('L2Loss:',y1.item())
print(((1-0.125)**2+(0.5**2)*3)/4)
啥都亿点点的研究生
关注
5.深度学习 ② 常用损失函数 1）
驽马十驾，功在不舍；锲而不舍，金石可镂。
05-04 8064
loss函数大全参考文件 平均绝对误差（MAE）/L1 Loss 当torch.nn.L1Loss的参数reduction选择’sum’时即为L1 loss； 当选择 ‘mean’ /'none’时，即为MAE。 KaTeX parse error: Can't use function '\]' in math mode at position 74: …_i^p} \right|} \̲]̲............
损失函数技术总结
CV技术指南（微信公众号）
06-18 472
前言： 一直想写损失函数的技术总结，但网上已经有诸多关于损失函数综述的文章或博客，考虑到这点就一直拖着没写，直到有一天，我将一个二分类项目修改为多分类，简简单单地修改了损失函数，结果一直有问题，后来才发现是不同函数的标签的设置方式并不相同。 为了避免读者也出现这样的问题，本文中会给出每个损失函数的pytorch使用示例，这也是本文与其它相关综述文章或博客的区别所在。希望读者在阅读本文时，重点关注一下每个损失函数的使用示例中的target的设置问题。 本文对损失函数的类别和应用场景，常...
loss损失函数
qq_48687044的博客
11-25 237
因为L2范数将误差平方化（如果误差大于1，则误差会放大很多），模型的误差会比L1范数大的多，因此模型会对这种类型的样本更加敏感，这就需要调整模型来最小化误差。但是很大可能这种类型的样本是一个异常值，模型就需要调整以适应这种异常值，那么就导致训练模型的方向偏离目标了。也被称为最小绝对值偏差（LAD），绝对值损失函数（LAE）。一般回归问题会使用此损失，离群点对次损失影响较大。L2范数损失函数，也被称为最小平方误差（LSE）。L1损失函数相比于L2损失函数的鲁棒性更好。L1和L2都可以做损失函数使用。
pytorch损失函数
weixin_43559672的博客
10-27 1159
L1 Loss（Mean Absolute Error，MAE） pytorch代码： torch.nn.L1Loss() L2 Loss（Mean Squared Error，MSE） pytorch代码： torch.nn.MSELoss() L1Loss和MSELoss的参数： 旧版的函数有reduce、size_average两个参数，新版的只有一个reduction参数了，功能是一样的。 reduction的意思是维度要不要缩减，以及怎么缩减，有三个选项： none：不要压缩，如果参数值为n
【损失函数】(二) L2Loss原理 & pytorch代码解析
Lizhi_Tech的博客
07-27 4231
直入主题，这次来介绍L2loss的原理以及pytorch代码用法。
Pytorch学习（十）Pytorch中常用的损失函数
qq_37297763的博客
05-12 1422
1. torch.nn.CrossEntropyLoss CrossEntropyLoss的作用相当于将nn.LogSoftmax()和nn.NLLLoss()结合在一起，nn.LogSoftmax()相当于先对输入矩阵计算softmax值，然后取log。举例说明这几个函数的功能： （1）使用nn.Softmax() + torch.log()来模拟nn.LogSoftmax() import torch import torch.nn as nn # 随机生成输入 input = torch.randn
potorch 在loss中加入l2正则
qq_36955294的博客
11-29 4002
正则化应该是模型每一层的加权参数，而不是每一层的输出。 import torch from torch.autograd import Variable from torch.nn import functional as F class MLP(torch.nn.Module): def __init__(self): super(MLP, self).__ini...
Focal-Loss-基于Pytorch实现Focal-Loss-附项目源码.zip
05-28
《深度学习中的Focal Loss：基于Pytorch的实现与应用》 在深度学习领域，损失函数是模型训练的核心部分，它衡量了模型预测结果与实际标签之间的差异。传统的交叉熵损失函数在处理类别不平衡问题时可能会遇到挑战，...
crnn-ctc-loss-pytorch:使用 PyTorch 框架使用 CRNN 和 CTC 损失进行多位序列识别
05-29
综上所述，"crnn-ctc-loss-pytorch" 项目展示了如何在 PyTorch 中利用 CRNN 结构结合 CTC Loss 进行多位序列的识别，这对于处理各种序列数据的任务，如语音识别和 OCR，都具有重要的应用价值。在实践中，可以通过...
pytorch-loss:标签平滑，amsoftmax，散焦，三重损失，lovasz-softmax。 也许有用
04-30
amsoftmax，焦点损耗，双焦点损耗，三重态损耗，giou损耗，亲和力损耗，pc_softmax_cross_entropy，ohem损耗（基于行硬挖掘损失的softmax），大利润- softmax（bmvc2019），lovasz-softmax-loss和dice-loss（广义的...
Pytorch-Triplet_loss:用Pytorch实现三重损失
05-16
**Pytorch-Triplet_loss: 用Pytorch实现三重损失** 在深度学习领域，损失函数是模型训练的核心部分，它衡量模型预测结果与实际标签之间的差距。其中，三重损失（Triplet Loss）是一种在计算机视觉任务，尤其是人脸...
Color-Loss:Pytorch在“具有深度卷积网络的移动设备上的DSLR质量的照片”中实现色彩损失的实现
05-28
PyTorch在实现色彩损失 包装要求 Python 科学的 麻木 火炬 使用范例 from color_loss import Blur , ColorLoss cl = ColorLoss () # rgb example blur_rgb = Blur ( 3 ) img_rgb1 = torch . randn ( 4 , 3 , 40 , ...
【pytorch】对照原理，自己实现pytorch自带的损失函数：L1Loss，L2Loss，BCELoss，BCEWithLogitsLoss，NLLLoss，CrossEntropyLoss
种一棵树最好的时间是十年前，其次是现在
04-24 3631
nn.L1Loss绝对值损失 #1批4个求损失和 def L1Loss(y,yhead): return torch.mean(torch.abs(y-yhead)) y=torch.rand(4,3) yhead=torch.rand(4,3) print(L1Loss(y,yhead)) print(nn.L1Loss(reduction='mean')(y,yhead)) 输出： tensor(0.4083) tensor(0.4083) #nn.MSELoss均方损失 def L2Los
pytorch loss 损失函数
bc521bc的博客
12-09 1067
常用的 loss 损失函数 nn.MSELoss    均方损失函数   nn.BCELoss    二分类用的交叉熵   nn.CrossEntropyLoss  多分类用的交叉熵损失函数   还有更多的损失函数  推荐阅读  https://blog.csdn.net/zhangxb35/article/details/72464152  ...
速成pytorch学习——8天损失函数
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
09-20 705
一般来说，监督学习的目标函数由损失函数和正则化项组成。(Objective = Loss + Regularization) Pytorch中的损失函数一般在训练模型时候指定。 注意Pytorch中内置的损失函数的参数和tensorflow不同，是y_pred在前，y_true在后，而Tensorflow是y_true在前，y_pred在后。 对于回归模型，通常使用的内置损失函数是均方损失函数nn.MSELoss 。 对于二分类模型，通常使用的是二元交叉熵损失函数nn.BCELoss (输入已经是s
损失函数总结及pytorch示例
weixin_45074568的博客
04-11 841
损失函数 一句话：损失函数就是计算预测值和真实值之间的误差。 损失函数可以分为以下三类： 回归损失函数：应用于预测连续的值，如房价，年龄等 分类损失函数：用于离散的值，图像分类，图像分割等 排序损失函数：用于预测输入数据之间的相对距离 下面逐一介绍损失函数 L1 loss   L1 loss 也称为平均绝对误差（Mean Absolute Error），简称MAE，计算真实值和预测值之间绝对差之和的平均值。 应用场合：回归预测 # L1 loss input = torch.randn(3, 5,
Pytorch实战—— Loss Functions一览
Yuetian_w的博客
04-08 626
Pytorch Loss Functions总结： 文档链接：Loss Functions L1Loss 用于测量输入中每个元素之间的平均绝对误差 （MAE）。 >>> loss = nn.L1Loss() >>> input = torch.randn(3, 5, requires_grad=True) >>> target = torch.randn(3, 5) >>> output = loss(input, target) &g
PyTorch学习笔记（17）损失函数（二）
qq_33357094的博客
02-27 530
损失函数 nn.L2Loss 功能 计算inputs 与 target 之差的绝对值 ln=∣xn−yn∣ l_{n}=\left|x_{n}-y_{n}\right|ln​=∣xn​−yn​∣ nn.MSELoss 功能 计算inputs 与 target 之差的平方 ln=(xn−yn)2 l_{n}=\left(x_{n}-y_{n}\right)^{2}ln​=(xn​−yn​)2 主要参...
爆改YOLOv8|使用MobileNetV4替换yolov8的Backbone
最新发布
weixin_43986124的博客
09-12 965
MobileNetV4，yolov8改进backbone, yolov8改进， 即插即用
AMC-loss pytorch代码
06-14
AMC-loss (Adversarial Mutual Contrast) 是一种在深度学习中用于增强模型对对抗样本鲁棒性的损失函数。它结合了对抗训练（adversarial training）和对比学习的思想，通过同时优化模型的正向预测和负向区分能力。在PyTorch中实现AMC-loss，你需要定义一个新的损失函数，并可能在训练循环中使用`nn.Module`或自定义优化器。 以下是一个简单的AMC-loss的PyTorch代码概述： ```python import torch import torch.nn as nn class AMCContrastLoss(nn.Module): def __init__(self, base_loss, device='cuda'): super(AMCContrastLoss, self).__init__() self.base_loss = base_loss self.device = device self.criterion = nn.CrossEntropyLoss() def forward(self, outputs, targets, adversarial_samples): # 假设outputs是模型的预测，targets是真实标签，adversarial_samples是生成的对抗样本 real_pred, adv_pred = outputs[0], outputs # 分离原始输出和对抗输出 # 正向预测 real_loss = self.base_loss(real_pred, targets) # 负向区分（对比学习） contrast_logits = torch.cat((real_pred, adv_pred), dim=0) contrast_labels = torch.cat((torch.zeros_like(targets), torch.ones_like(targets)), dim=0).to(self.device) contrast_loss = self.criterion(contrast_logits, contrast_labels) # 总损失 total_loss = real_loss + contrast_loss return total_loss # 使用示例 model = MyModel().to(device) optimizer = torch.optim.Adam(model.parameters()) amc_loss = AMCContrastLoss(nn.CrossEntropyLoss()) for inputs, targets in train_loader: inputs, targets = inputs.to(device), targets.to(device) adversarial_inputs = generate_adversarial(inputs) # 假设这个函数能生成对抗样本 outputs = model(inputs, adversarial_inputs) loss = amc_loss(outputs, targets, adversarial_inputs) optimizer.zero_grad() loss.backward() optimizer.step() ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值