常用损失函数用法小结之Pytorch框架

已于 2024-10-17 22:04:26 修改
阅读量145 收藏 1
点赞数
分类专栏： Pytorch基本知识 文章标签： pytorch 人工智能 python
于 2023-05-30 09:45:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59023219/article/details/130941872
版权

     在用深度学习做图像处理的时候，常用到的损失函数无非有四五种，为了方便Pytorch使用者，所以简要做以下总结

    1）L1损失函数，预测值与标签值进行相差，然后取绝对值，根据实际应用场所，可以设置是否求和，求平均，公式可见下，Pytorch调用函数：nn.L1Loss

dd0dce4177a830aa8425bf6d4411d318.png

   2）L2损失函数，预测值与标签值进行相差，然后取平方，根据实际应用场所，可以设置是否求和，求平均，公式可见下，Pytorch调用函数：nn.MSELoss

fb8085ff2f7fa39ae8f41ea88a25b4e6.png

    3）Huber Loss损失函数，简单来说就是L1和L2损失函数的综合版本，结合了两者的优点，公式可见下，Pytorch调用函数：nn.SmoothL1Loss

b6f88a58aab333555483ec85c80b5bc9.png

    4）二分类交叉熵损失函数，简单来说，就是度量两个概率分布间的差异性信息，在某一程度上也可以防止梯度学习过慢，公式可见下，Pytorch调用函数有两个，一个是nn.BCELoss函数，用的时候要结合Sigmoid函数，另外一个是nn.BCEWithLogitsLoss()

7697d5062a44c9b2147887050f6ae417.png

    5）多分类交叉熵损失函数，也是度量两个概率分布间的差异性信息，Pytorch调用函数也有两个，一个是nn.NLLLoss，用的时候要结合log softmax处理，另外一个是nn.CrossEntropyLoss

 

 

 

 

 

 

 

AI洲抿嘴的薯片
关注
专栏目录
Pytorch学习--回归损失函数总结
qq_40379132的博客
06-23 4212
“损失函数”是机器学习优化中至关重要的一部分。机器学习中所有的算法都需要最大化或最小化一个函数，这个函数被称为“目标函数”。其中，我们一般把最小化的一类函数，称为“损失函数”。它能根据预测结果，衡量出模型预测能力的好坏。常见的损失函数例如L1、L2损失函数。除此之外，还有Huber损失、Log-Cosh损失、以及常用于计算预测区间的分位数损失。在实际应用中，选取损失函数会受到诸多因素的制约，比如是否有异常值、机器学习算法的选择、梯度下降的时间复杂度、求导的难易程度以及预测值的置信度等等。因此，不存在一种损失
交叉熵损失函数（cross-entropylossfunction）原理及Pytorch代码简介.pdf
最新发布
06-28
交叉熵损失函数是机器学习和深度学习中常用的一种损失函数，尤其在分类任务中发挥着重要作用。它基于信息论中的交叉熵概念，用于衡量模型预测概率分布与真实标签分布之间的差异。本文将深入探讨交叉熵损失函数的原理...
【Pytorch神经网络理论篇】 09 神经网络模块中的损失函数
小李的研究生学习日记
03-08 6523
1 训练模型的步骤与方法 将样本书记输入到模型中计算出正向的结果 计算模型结果与样本目标数值之间的差值(也称为损失值loss) 根据损失值，使用链式反向求导的方法，依次计算出模型中每个参数/权重的梯度 使用优化器中的策略对模型中的参数进行更新 2 神经网络模块中的损失函数 2.1 损失函数定义 损失函数主要用来计算“输出值”与“输入值”之间的差距，即误差，反向传播中依靠损失函数找到最优的权重。 2.2 L1损失函数/最小绝对值偏差（LAD）/最小绝对值误差（LAE） L1损失函数用于最小
回归问题Pytorch常用的两个Loss函数
m0_56423263的博客
05-13 897
回归问题使用得最多的loss function输入为预测值input x以及目标值target y，x和y的shape需要相同，设它们的元素数量均为n公式1：（N是batch size，n是预测值和目标值的数量）lxyLl1​...lN​Tln​xn​−yn​2parameters中，size_average和reduce已被弃用，一般只用reductionreduction可以为none，sum和mean，默认为mean。
Pytorch实现Smooth L1 Loss（Huber）
我是天才很好
08-22 1万+
简单版 SSD网络中的SmoothL1LossLayer层借鉴于Fast R-CNN，用于计算smooth L1损失，其中的光滑L1函数如下： 其导函数为： 之所以称为光滑L1函数，是因为此函数处处可导，而原L1函数在x=0处是不可导的。 smooth L1损失为： 其中：yi=[yi1,yi2,....,yik]Ty_i = [y_{i1},y_{i2},....,y_{ik}]^Tyi​=[yi1​,yi2​,....,yik​]T为标签向量;y^i\hat{y}_iy^​i​为预测向量。 带si
AttributeError: module ‘torch.nn‘ has no attribute ‘HuberLoss‘
白小白爱吃小橘子
06-22 3107
AttributeError: module 'torch.nn' has no attribute 'HuberLoss'
PyTorch中标准交叉熵误差损失函数的实现（one-hot形式和标签形式）
02-08
PyTorch是一个广泛使用的开源深度学习框架，它提供了丰富的损失函数库供用户选择。本文将深入探讨PyTorch中实现的两种交叉熵损失函数形式：one-hot编码形式和标签索引形式。 首先，我们需要理解什么是交叉熵（Cross...
Pytorch框架实现mnist手写库识别（与tensorflow对比）
09-16
在本文中，我们将深入探讨如何使用PyTorch框架实现MNIST手写数字识别，并与TensorFlow进行比较。MNIST是一个广泛使用的数据集，包含了0到9的手写数字图像，是初学者入门深度学习的理想选择。 首先，我们导入必要的...
深度学习框架pytorch入门与实践源代码.rar
11-21
PyTorch是Facebook开源的一个强大而灵活的深度学习框架，以其动态计算图模式和易于使用的特性受到了广大开发者和研究者的青睐。本篇将深入探讨PyTorch的核心概念、关键功能以及在实际项目中的应用。 一、PyTorch...
Pytorch框架_深度学习.pdf
08-04
4. 深入理解Pytorch框架：文档中也提到了查阅文档的方法，这对于学习和使用Pytorch框架来说是一个非常实用的技能。掌握如何查找模块中的所有函数和类，以及如何了解特定函数和类的用法，是高效使用Pytorch的前提。 ...
机器学习常用损失函数小结
zandaoguang的博客
02-16 594
作者：王桂波转载自：https://zhuanlan.zhihu.com/p/77686118整理：HealthAI上一篇文章我们看到了目标函数，损失函数，和代价函数的区别。在该部分我们...
pytorch学习笔记：进阶训练（一）损失函数、动态调整学习率
weixin_41555165的博客
10-19 2014
pytorch 自定义损失函数，自定义动态调整学习率。
Smooth L1 Loss（Huber）：pytorch中的计算原理及使用问题
球场恶汉的博客
04-21 2万+
本人在进行单目深度估计实验时，使用Huber作为损失函数，也就是通常所说SmoothL1损失： SmoothL1(x,y)={0.5(xi−yi)2if ∣xi−yi∣<1 ∣xi−yi∣−0.5otherwise Smooth_{L1}(x,y) = \begin{cases} 0.5(x_i-y_i)^2 & \text{if $|x_i-...
Pytorch 的损失函数Loss function
rosefun96的博客
03-01 2万+
0 损失函数 损失函数，又叫目标函数，是编译一个神经网络模型必须的两个参数之一。另一个必不可少的参数是优化器。 损失函数是指用于计算标签值和预测值之间差异的函数，在机器学习过程中，有多种损失函数可供选择，典型的有距离向量，绝对值向量等。 我们先定义两个二维数组，然后用不同的损失函数计算其损失值。 import torch from torch.autograd import Variable im...
pytorch模型构建（四）——常用的回归损失函数
weixin_39263657的博客
12-09 9528
一、简介（占位，待写） 1. 图： 目的： 原则： 方法： 二、数 1.
pytorch 的损失函数
weixin_42184622的博客
10-23 956
Smooth L1 Loss（Huber） 公式 调用方法 import torch.nn.functional as F a=torch.tensor([[0,0.5,2,3],[0,1,2,3],[0,1,2,3]],dtype=torch.float32) b=torch.tensor([[1,0.3,3,4],[0,1.2,2.2,3],[0,1,2,5]],dtype=torch.fl...
Pytorch loss: SmoothL1Loss
Vic_Hao的博客
05-09 4875
Huber loss也就是通常所说的SmoothL1 loss: SmoothL1对于异常点的敏感性不如MSE，而且，在某些情况下防止了梯度爆炸。在Pytorch中实现的SmoothL1损失是torch.nn.SmoothL1Loss, x和y可以是任何包含n个元素的Tensor，默认求均值。 ...
Pytorch实战—— Loss Functions一览
Yuetian_w的博客
04-08 650
Pytorch Loss Functions总结： 文档链接：Loss Functions L1Loss 用于测量输入中每个元素之间的平均绝对误差 （MAE）。 >>> loss = nn.L1Loss() >>> input = torch.randn(3, 5, requires_grad=True) >>> target = torch.randn(3, 5) >>> output = loss(input, target) &g
pytorch loss function 总结
热门推荐
张小彬的专栏
05-18 15万+
最近看了下 PyTorch 的损失函数文档，整理了下自己的理解，重新格式化了公式如下，以便以后查阅。 值得注意的是，很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数，需要解释一下。因为一般损失函数都是直接计算 batch 的数据，因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。 如果 reduce = False，那么 s...
使用PyTorch框架实现高准确率猫狗分类的深度学习作业
1. **深度学习框架PyTorch**: 了解PyTorch的基本使用方法，包括其数据加载机制、模型构建语法、优化器和损失函数的使用，以及如何进行模型的训练和评估。 2. **图像分类任务的流程**: 学习深度学习中进行图像分类...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值