【损失函数：1】L1、L2、SmoothL1（附Pytorch实现）

已于 2023-12-10 22:42:20 修改
阅读量7.9k 收藏 44
点赞数 13
分类专栏： 深度学习 文章标签： pytorch 深度学习 python 计算机视觉 神经网络
于 2022-09-25 23:28:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43665602/article/details/127037761
版权

损失函数

前言

作者自己是做图像去雾的，平常也会看一些其他的图像恢复方向的文章，比如图像去噪、图像增强、图像去模糊以及图像超分辨等。我们知道损失函数决定了网络训练目标，对于一个任务最后可以实现的功能影响很大，这里我就想把我见过的一些损失函数进行记录，供大家学习参考。

一、基础损失

假设网络输入为x，输出为 y ‾ \overline{\text{y}} y

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NorthSmile
关注
  • 13
    点赞
  • 踩
  • 44
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
损失函数L1Loss、L2loss区别
weixin_51293984的博客
04-07 260
平均绝对误差（Mean Absolute Error，MAE）预测值和真实值之差的绝对值。
【回归损失函数】L1（MAE）、L2（MSE）、Smooth L1 Loss详解
Roaddd的博客
03-14 1万+
1. L1 Loss（Mean Absolute Error，MAE）        平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE 是目标变量和预测变量之间绝对差值之和，因此它衡量的是一组预测值中的平均误差大小，而不考虑它们的方向，范围为 0~∞。 MAE公式如下： 导数： MAE图像如下： 主要问题：        导数为常数，在 Loss 函数最
使用PyTorch实现L1, L2和Elastic Net正则化
deephub
05-10 4040
L1 正则化（Lasso回归）L1 正则化通过向损失函数添加参数的绝对值的和来实施惩罚，公式可以表示为：其中 L0 是原始的损失函数，λ 是正则化强度，wi是模型参数。L1 正则化的特点是它可以产生稀疏模型，即许多模型参数会被设置为零。这种特性使得L1正则化不仅可以防止过拟合，还可以进行特征选择。L2 正则化（Ridge回归）L2 正则化通过添加参数的平方和来施加惩罚，公式为：λ 控制着正则化的强度。
PyTorch学习笔记：nn.SmoothL1Loss——平滑L1损失
qq_50001789的博客
02-10 5572
PyTorch学习笔记：nn.SmoothL1Loss——平滑L1损失
【损失函数】深度学习回归任务中你必须了解的三种损失函数，绝对误差损失（L1 Loss、MAE）均方误差损失（L2 Loss、MSE）以及平滑L1损失（Huber Loss）（2024最新整理）
Next_SummerAgain的博客
01-04 8054
是预测值和真实值之差的绝对值的总和。其中，是样本数量，是第个样本的真实值，是第个样本的预测值。
深度学习中常见的损失函数（L1Loss、L2loss）
热门推荐
qq_37925923的博客
10-17 2万+
损失函数
为什么用交叉熵代替二次代价函数_常用的损失函数
weixin_39754616的博客
11-22 295
什么是损失函数？损失函数 （Loss Function） 也可称为代价函数 （Cost Function）或误差函数（Error Function），用于衡量预测值与实际值的偏离程度。一般来说，我们在进行机器学习任务时，使用的每一个算法都有一个目标函数，算法便是对这个目标函数进行优化，特别是在分类或者回归任务中，便是使用损失函数（Loss Function）作为其目标函数。机器学习的目标就是希望预...
【损失函数】(二) L2Loss原理 & pytorch代码解析
Lizhi_Tech的博客
07-27 3394
直入主题，这次来介绍L2loss的原理以及pytorch代码用法。
机器学习的L1、L2损失函数
走出那座山
05-09 4561
** 问题一：损失函数是什么？ ** 损失函数就一个具体的样本而言，模型预测的值与真实值之间的差距。 哦哦，这句话怎么理解呢，就是我们使用自己的算法模型，然后就是自己的模型产生了一个自己进行判断出来的y(猜)，然后我们放入模型进行训练的值就有一个y（真正），如何衡量我们模型产生的一个预测值和原本的值之间的差距呢，就是使用这个损失函数进行一个配对，让我们可以直观地看到机器学习的效果。 还有一种说法是：对于一个样本（xi,yi）其中yi为真实值，而f（xi）为我们的预测值。使用损失函数L（f(xi),yi
PyTorch 激活函数、损失函数、优化器-谢TS的博客.pdf
07-17
- **SmoothL1Loss**：结合了L1和L2损失的特性，对于较小的误差使用L2，较大的误差使用L1，平滑了损失函数的突变。 - **CrossEntropyLoss**：适用于多分类问题，计算的是对数似然的负值，能同时考虑每个类别的概率...
Pytorch-Gain:在pytorch中实现GAIN热图网络。 原始纸
04-29
此外，损失函数的选择也很关键，通常会结合对抗性损失（Adversarial Loss）和像素级损失（Pixel-wise Loss，如L1或L2距离）来确保生成图像的逼真度和结构一致性。 为了在PyTorch中实现GAIN，你还需要准备数据集，这...
kornia：PyTorch的开源可区分计算机视觉库
02-04
它包含了多种不同的损失函数，如L1、L2损失，以及针对特定任务的损失函数，如结构相似度指数(SSIM)损失和感知损失，这些损失函数可以用于优化模型的训练过程，提升模型的性能。此外，Kornia还提供了一些实用的模块，...
知识蒸馏-基于Pytorch实现的Channel通道蒸馏算法-附项目源码+流程教程-优质项目实战.zip
最新发布
06-01
通常会结合L1或L2范数来度量两者特征的差异。 6. **训练过程**：配置优化器，设置学习率策略，然后进行联合优化，同时更新学生模型的分类权重和通道注意力参数。 7. **评估与比较**：在验证集和测试集上对比教师...
基于PyTorch实现MCNN完成人群计数任务-数据集.zip
12-21
在实际应用中，我们还需要关注模型的泛化能力和过拟合问题，可能需要使用数据增强技术（如旋转、裁剪、翻转等）来扩大训练集，以及正则化技术（如dropout、L1/L2正则化）来避免过拟合。此外，模型的性能可以通过各种...
L1 loss 是什么
a_145133的博客
04-24 4533
与L2 Loss（也称为Mean Squared Error）相比，L1 Loss更加鲁棒，对于异常值（outliers）的容忍性更高。因此，在某些需要考虑异常值的任务中，例如目标检测、人脸识别等领域，L1 Loss被广泛应用。L1 Loss（也称为Mean Absolute Error）是深度学习中常用的一种损失函数，用于衡量模型预测结果与真实标签之间的平均绝对误差。表示模型对于样本i的预测标签。将每个样本的绝对误差取平均值，得到L1 Loss。表示样本i的真实标签（ground truth），
目标检测中回归损失函数（L1Loss,L2Loss,Smooth L1Loss,IOU,GIOU,DIOU,CIOU,EIOU,αIOU ,SIOU)
zyw2002的博客
03-04 5149
为了解决CIoU的问题，有学者在CIOU的基础上将纵横比拆开，提出了EIOU Loss，并且加入Focal聚焦优质的预测框，与CIoU相似的，EIoU是损失函数的解决方案，只用于训练。在错误率小的地方，梯度的值也应当小，反之在错误率大的地方，梯度也应当大，因为这时候我们需要对错误率小的情况进行微调，而错误率大的地方进行大刀阔斧的调整；如下图所示，三种情况IoU都相等，但看得出来他们的重合度是不一样的，左边的图回归的效果最好，右边的最差。DIoU的作者考虑到，在两个框中心点重合时，c与d的值都不变。
机器学习中的各种损失函数（L1，L2，smoothL1，交叉熵 ）
白羊by的博客
08-28 1439
机器学习中的各种损失函数（L1，L2，smoothL1，交叉熵 ）
机器学习中的 L1,L2 loss分别是什么
大西瓜不甜的博客
04-21 4646
一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示： 下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。 优点：各点都连续光滑，方便求导，具有较为稳定的解 缺点：不是特别的稳健，为什么？因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能...
回归损失函数: L1和L2比较
小花生的博客
05-07 4975
MSE vs MAE （L2损失 vs L1损失） 简而言之，使用平方误差更容易解决问题，但使用绝对误差对于异常值更鲁棒。我们来看一下为什么。 不管我们什么时候训练机器学习模型，我们的目标都是想找到一个点将损失函数最小化。当然，当预测值正好等于真值时，这两个函数都会达到最小值。 我们快速浏览一下这两种函数的Python代码。我们可以自己写函数，也可以用sklearn的内助度量函数： 代码： # t...
pytorch实现l1和l2正则化
09-01
要使用PyTorch实现L1和L2正则化，可以通过在损失函数中添加相应的正则化项来实现。下面是一个简单的示例： ```python import torch import torch.nn as nn import torch.optim as optim # 定义模型 class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.linear = nn.Linear(10, 1) def forward(self, x): return self.linear(x) model = MyModel() # 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = optim.SGD(model.parameters(), lr=0.01) # 定义正则化权重 l1_lambda = 0.01 l2_lambda = 0.01 # 训练循环 for epoch in range(num_epochs): for inputs, targets in data_loader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) # 添加L1正则化 l1_reg = torch.tensor(0.) for param in model.parameters(): l1_reg += torch.norm(param, 1) loss += l1_lambda * l1_reg # 添加L2正则化 l2_reg = torch.tensor(0.) for param in model.parameters(): l2_reg += torch.norm(param, 2) loss += l2_lambda * l2_reg loss.backward() optimizer.step() ``` 在上述代码中，我们定义了一个`MyModel`类来表示我们的模型。然后，我们使用`nn.MSELoss()`作为损失函数，并使用`optim.SGD`作为优化器。在训练循环中，我们通过遍历模型的参数并计算其L1和L2范数来计算正则化项。然后将正则化项加到损失函数中，通过调整`l1_lambda`和`l2_lambda`参数来控制正则化的强度。最后，我们进行反向传播和参数更新以完成训练。 请注意，这只是一个简单的示例，实际应用中可能还会有其他细节需要考虑，如权重衰减（weight decay）等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NorthSmile

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值