『PyTorch』损失函数

最新推荐文章于 2024-06-18 18:30:34 发布
最新推荐文章于 2024-06-18 18:30:34 发布
阅读量1.0k 收藏 4
点赞数
分类专栏： PyTorch 文章标签： python 机器学习 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dreaming_coder/article/details/104494860
版权

文章目录

1. 什么是损失函数

衡量模型输出与真实标签的差异

  • 损失函数：计算一个样本的差异
    L o s s = f ( y ^ − y ) Loss=f(\hat{y}-y) Loss=f(y^​−y)

  • 代价函数：计算整个样本的损失函数的平均值
    C o s t = 1 n ∑ i = 1 n f ( y ^ − y ) Cost=\frac{1}{n}\sum_{i=1}^n f(\hat{y}-y) Cost=n1​i=1∑n​f(y^​−y)

  • 目标函数
    O b j = C o s t + R e g u l a r i z a t i o n Obj=Cost+Regularization Obj=Cost+Regularization

size_average 和 reduce后期版本将被舍弃，不要再用了

2. PyTorch中的损失函数

2.1 nn.CrossEntropyLoss

  • 功能：nn.LogSoftmax()与nn.NLLLoss()结合，进行交叉熵计算

    nn.CrossEntropyLoss(weight=None, size_average=None, 
                    ignore_index=-100, reduce=None,reduction='mean')

  • 主要参数：

    • weight：各类别的loss设置权值
      对于分类问题，每个分类都有一个loss函数值，此参数就是每个分类的权重
    • ignore_index：忽略某个类别，不参与计算loss函数值
    • reduction：计算模式，可为none、sum、mean
      • none：逐个元素计算，返回长度为类别数
      • sum：所有元素求和返回标量，一个值的Tensor
      • mean：加权平均返回标量，一个值的Tensor

2.2 nn.NLLLoss

  • 功能：实现负对数似然函数中的负号功能

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xQ7tK99T-1582603752282)(损失函数/nll_loss.png)]

  • 主要参数：
    • weight：各类别的loss设置权值
      对于分类问题，每个分类都有一个loss函数值，此参数就是每个分类的权重
    • ignore_index：忽略某个类别，不参与计算loss函数值
    • reduction：计算模式，可为none、sum、mean
      • none：逐个元素计算，返回长度为类别数
      • sum：所有元素求和返回标量，一个值的Tensor
      • mean：加权平均返回标量，一个值的Tensor

2.3 nn.BCELoss

  • 功能：二分类交叉熵

    注意，输入值取值在 [ 0 , 1 ] [0,1] [0,1]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g3YJ5vDw-1582603752291)(损失函数/bce_loss.png)]

  • 主要参数：
    • weight：各类别的loss设置权值
      对于分类问题，每个分类都有一个loss函数值，此参数就是每个分类的权重
    • ignore_index：忽略某个类别，不参与计算loss函数值
    • reduction：计算模式，可为none、sum、mean
      • none：逐个元素计算，返回长度为类别数
      • sum：所有元素求和返回标量，一个值的Tensor
      • mean：加权平均返回标量，一个值的Tensor

2.4 nn.BCEWithLogitsLoss

  • 功能：结合Sigmoid与二分类交叉熵

    注意，网络最后不需要加sigmoid激活函数了

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FpnXx9kY-1582603752297)(损失函数/bce_sigmoid__loss.png)]

  • 主要参数：
    • pos_weight：正样本的权值
    • weight：各类别的loss设置权值
      对于分类问题，每个分类都有一个loss函数值，此参数就是每个分类的权重
    • ignore_index：忽略某个类别，不参与计算loss函数值
    • reduction：计算模式，可为none、sum、mean
      • none：逐个元素计算，返回长度为类别数
      • sum：所有元素求和返回标量，一个值的Tensor
      • mean：加权平均返回标量，一个值的Tensor

2.5 nn.L1Loss

  • 功能：计算inputs与target之差的绝对值( l 1 l_1 l1​范数误差)

    nn.L1Loss(size_average=None, reduce=None, reduction='mean')

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cwGxANwN-1582603752299)(损失函数/l1_loss.png)]

2.6 nn.MSELoss

  • 功能：计算inputs和target之差的平方( l 2 l_2 l2​范数误差，或者 m 2 m_2 m2​范数误差)
nn.MSELoss(size_average=None, reduce=None, reduction='mean')

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1lb3zkYR-1582603752300)(损失函数/MSE_loss.png)]

2.7 nn.SmoothL1Loss

  • 功能：平滑的 l 1 l_1 l1​ loss

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1HJHAXEr-1582603752305)(损失函数/smooth_l1_loss.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Bx7KI4dn-1582603752309)(损失函数/l1_loss_figure.png)]

2.8 nn.PoissonNLLLoss

  • 功能：破松分布的负对数似然函数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tcgn3YlX-1582603752313)(损失函数/poisson_nll_loss.png)]

  • 主要参数：
    • log_input：输入是否为对数形式，决定计算公式
    • full：计算所有loss，默认False
    • eps：修正项，避免 log ⁡ ( i n p u t ) \log(input) log(input) 为 N a N NaN NaN

2.9 nn.KLDivLoss

  • 功能：计算KL散度，相对熵

2.10 nn.MarginRankingLoss

  • 功能：计算两个向量之间的相似度，用于排序任务

2.11 nn.MultiLabelMarginLoss

  • 功能：多标签边界损失函数

2.12 nn.SoftMarginLoss

  • 功能：计算二分类的Logistic损失

2.13 nn.MultiLabelSoftMarginLoss

  • 功能：SoftMarginLoss的多标签版本

2.14 nn.MultiMarginLoss

  • 功能：计算多分类的折页损失

2.15 nn.TripletMarginLoss

  • 功能：计算三元组损失，人脸验证中常用

2.16 nn.HingeEmbeddingLoss

  • 功能：计算两个输入的相似性，常用于迁移学习和半监督学习

2.17 nn.CosineEmbedingLoss

  • 功能：采用余弦相似度计算两个输入的相似性

2.18 nn.CTCLoss

  • 功能：计算CTC损失，解决时序类数据的分类损失，人脸验证中常用

2.16 nn.HingeEmbeddingLoss

  • 功能：计算两个输入的相似性，常用于迁移学习和半监督学习

2.17 nn.CosineEmbedingLoss

  • 功能：采用余弦相似度计算两个输入的相似性

2.18 nn.CTCLoss

  • 功能：计算CTC损失，解决时序类数据的分类
ツぃ☆ve芜情
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch-center-loss：Pytorch实现中心损失
02-05
火炬中心损失 Pytorch实现中心损失的方法： （ ）也使用此损失函数。 开始吧 克隆此仓库并运行代码 $ git clone https://github.com/KaiyangZhou/pytorch-center-loss $ cd pytorch-center-loss $ python main.py --eval-freq 1 --gpu 0 --save-dir log/ --plot 您将在终端中看到以下信息 Currently using GPU: 0 Creating dataset: mnist Creating model: cnn == > Epoch
使用Pytorch实现三元组损失
deephub
09-27 8035
在这篇文章中，我们将探索如何建立一个简单的具有三元组损失的网络模型。它在人脸验证、人脸识别和签名验证等领域都有广泛的应用。在进入代码之前，让我们先了解一下什么是三元组损失（Triplet Loss），以及如何在PyTorch中实现它。 三元组损失 三元组损失（Triplet loss）函数是当前应用较为广泛的一种损失函数，最早由Google研究团队在论文《FaceNet：A Unified Embedding for Face Recognition》所提出，Triplet loss的优势在于细节区分，即当
深度学习之BCE损失介绍
最新发布
yueguang8的博客
06-18 879
在深度学习中,BCE (Binary Cross-Entropy) 损失是一种常用的损失函数,主要应用于二分类问题,通过优化该损失来训练模型,使预测概率尽可能接近真实标签。另外介绍了logp函数及其使用。
PyTorch TripletMarginLoss(三元损失)
热门推荐
zj
01-03 3万+
文章目录triplet losstriplet hard loss triplet loss 官方文档： torch.nn — PyTorch master documentation 关于三元损失，出自论文： FaceNet: A Unified Embedding for Face Recognition and Clustering FaceNet: A Unified Embedding ...
Pytorch自定义中心损失函数与交叉熵函数进行[手写数据集识别]，并进行对比
weixin_43960370的博客
04-13 555
【代码】Pytorch自定义中心损失函数与交叉熵函数进行[手写数据集识别]，并进行对比。
center loss pytorch实现总结
qq_45759229的博客
09-18 957
center loss pytorch实现总结
pytorch常用函数手册
03-07
描述： 该手册整理了 PyTorch 中常用的函数、类和工具的详细说明和示例用法，涵盖了张量操作、模型构建、优化器、损失函数、数据加载等方面的内容。可以帮助用户快速查找和了解 PyTorch 中各种函数的用法和参数设置...
Pytorch损失函数nn.NLLLoss2d()用法说明
09-16
在PyTorch中，损失函数是衡量模型预测与真实标签之间差距的重要工具，nn.NLLLoss2d()是其中一种损失函数，主要用于二维数据，如图像处理任务。它全称为Negative Log Likelihood Loss（负对数似然损失），在分类问题...
Pytorch十九种损失函数的使用详解
12-20
这里我们将详细探讨十九种PyTorch损失函数的使用，主要介绍其中的几种常见类型。 首先，损失函数的基本使用方式是通过`torch.nn`模块创建一个损失对象，然后传入模型的输出`output`和目标变量`target`来计算损失。...
Pytorch 的损失函数Loss function使用详解
09-18
本文将详细介绍几种常见的PyTorch损失函数。 1. L1Loss L1Loss，即绝对值损失函数，其计算方式是取预测值与真实值的绝对误差的平均数。在给定的例子中，`nn.L1Loss()` 计算了各个元素的绝对差并取平均值，例如对于`...
Pytorch 常见损失函数实现
ssshyeong的博客
09-25 1458
Pytorch 常见损失函数实现1.CrossEntropyLoss()函数1.1.基本计算公式1.2.Pytorch自带计算2.Focal Loss2.1.基本计算公式基本计算表达式：2.2.Pytorch实现3.二分类Dice Loss3.1.基本计算公式3.2.Pytorch实现4.多分类Dice Loss损失函数4.1.基本计算思路4.2.Pytorch实现 1.CrossEntropyLoss()函数 1.1.基本计算公式 1.2.Pytorch自带计算 Pytorch中计算的交叉熵： 其中自带
Pytorch-Triplet_loss:用Pytorch实现三重损失
05-16
派托克三重损失 用Pytorch实现三重损失
auraloss:PyTorch中以音频为中心的损失函数的集合
04-01
光环 PyTorch中以音频为中心的损失函数的集合。 [ ] 设置 pip install auraloss 用法 import torch import auraloss mrstft = auraloss . freq . MultiResolutionSTFTLoss () input = torch . rand ( 8 , 1 , 44100 ) target = torch . rand ( 8 , 1 , 44100 ) loss = mrstft ( input , target ) 损失函数 我们将损失函数分为时域方法或频域方法。 此外，我们包括感知转换。 损失函数 界面 参考 时域 误码率（ESR） auraloss.time.ESRLoss() 直流误差（DC） auraloss.time.DCLoss() 对数双曲余弦（Log-cosh） aura
pytorch学习笔记 | Focal loss的原理与pytorch实现
湫一
05-17 4702
Focal 原理简述 Focal loss是一个针对单阶段物体检测正负样本不均衡而提出来的损失函数，论文地址来自arxiv 先放focal loss（FL）和cross entropy（CE）两个函数的数学定义。 可以看到focal loss的设计很简单明了，就是在标准交叉熵损失函数的 focal loss 称为焦点损失函数，通过改进标准的二元交叉熵损失函数来控制对正负样本的训练，为了解决在on...
损失函数总结及pytorch示例
weixin_45074568的博客
04-11 795
损失函数 一句话：损失函数就是计算预测值和真实值之间的误差。 损失函数可以分为以下三类： 回归损失函数：应用于预测连续的值，如房价，年龄等 分类损失函数：用于离散的值，图像分类，图像分割等 排序损失函数：用于预测输入数据之间的相对距离 下面逐一介绍损失函数 L1 loss   L1 loss 也称为平均绝对误差（Mean Absolute Error），简称MAE，计算真实值和预测值之间绝对差之和的平均值。 应用场合：回归预测 # L1 loss input = torch.randn(3, 5,
pytorch损失函数（正在更新中，勿点进来看）
yqy2001的博客
08-21 261
nn.BCELoss() 注意：这里的两个参数需要是FloatTensor类型，我之前送进去的label是int类型，就会报错，送进去之前要先转换成float。
损失函数Center Loss 代码解析
DRACOYU的博客
12-17 3715
center loss来自ECCV2016的一篇论文：A Discriminative Feature Learning Approach for Deep Face Recognition。  论文链接：http://ydwen.github.io/papers/WenECCV16.pdf  代码链接：https://github.com/davidsandberg/facenet 理论解析请...
CenterLoss在Mnist数据集上的实现
weixin_46006304的博客
05-21 936
centerloss，顾名思义，中心损失函数，它的原理主要是在softmax loss的基础上，通过对训练集的每个类别在特征空间分别维护一个类中心，在训练过程，增加样本经过网络映射后在特征空间与类中心的距离约束，从而兼顾了类内聚合与类间分离，centerloss只是一个辅助损失函数，softmaxloss才是主打，但softmaxloss只能简单的将类分开，还得加上centerloss这一个强力辅助才能保证特征之间不仅具有可分性，同时也具有可判别性。 我们都知道，对于分类来说，希望类内距小，类间距大，那c
facenet 中心损失函数（center loss）详解（代码分析）含tf.gather() 和 tf.scatter_sub()函数
qq_41368074的博客
05-06 1493
我们来解读一下，中心损失，再来看代码。 链接：https://www.cnblogs.com/carlber/p/10811396.html 我们的重点是分析代码，所以定义部分，大家详情参见上面的博客。 代码： #coding=gbk ''' Created on 2020年4月20日 @author: DELL ''' import tensorflow as tf import n...
pytorch 损失函数
07-27
PyTorch 提供了许多常用的损失函数，用于衡量模型输出与真实值之间的差异。以下是一些常见的 PyTorch 损失函数： 1. `nn.MSELoss()`：均方误差损失函数，用于回归任务。 2. `nn.L1Loss()`：绝对值损失函数，也用于...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值