Pytorch框架学习（10）——损失函数

最新推荐文章于 2024-04-10 19:06:25 发布
最新推荐文章于 2024-04-10 19:06:25 发布
阅读量401 收藏 1
点赞数
分类专栏： Pytorch 文章标签： python pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aidanmo/article/details/104255015
版权

文章目录

1. 损失函数概念

  • 损失函数：衡量模型输出与真实标签的差异
    在这里插入图片描述
  • 损失函数（Loss Function）：
    L o s s = f ( y ^ , y ) Loss = f(\hat{y}, y) Loss=f(y^​,y)
  • 代价函数（Cost Function）：
    L o s s = 1 N ∑ i N f ( y i ^ , y i ) Loss = \frac{1}{N}\sum^{N}_{i} f(\hat{y_i}, y_i) Loss=N1​i∑N​f(yi​^​,yi​)
  • 目标函数（Objective Function）：
    O b j = C o s t + R e g u l a r i z a t i o n ( 正 则 项 ) Obj = Cost + Regularization(正则项) Obj=Cost+Regularization(正则项)

在这里插入图片描述

2. 交叉熵损失函数

  • 1.nn.CrossEntropyLoss
    • 功能：nn.LogSoftmax()与nn.NLLLoss()结合，进行交叉熵计算
    • 主要参数：
      • weight：各类别的loss设置权值
      • ignore_index：忽略某个类别
      • reduction：计算模式，可为none/sum/mean
        • none：逐个元素计算
        • sum：所有元素求和，返回标量
        • mean：加权平均，返回标量

3. NLL/BCE/BCEWITHLogits Loss

  • 2.nn.NLLLoss

    • 功能：实现负对数似然函数的负号功能
    • 主要参数：
      • weight：各类别的loss设置权值
      • ignore_index：忽略某个类别
      • reduction：计算模式，可为none/sum/mean
        • none：逐个元素计算
        • sum：所有元素求和，返回标量
        • mean：加权平均，返回标量

  • 3.nn.BCELoss

    • 功能：二分类交叉熵，输入值取值在[0,1]
    • 主要参数：
      • weight：各类别的loss设置权值
      • ignore_index：忽略某个类别
      • reduction：计算模式，可为none/sum/mean
        • none：逐个元素计算
        • sum：所有元素求和，返回标量
        • mean：加权平均，返回标量

  • 4.BCEWITHLogits Loss

    • 功能：结合Sigmoid与二分类交叉熵，网络最后不加sigmoid函数
    • 主要参数：
      • pos_weight：正样本的权值
      • weight：各类别的loss设置权值
      • ignore_index：忽略某个类别
      • reduction：计算模式，可为none/sum/mean
        • none：逐个元素计算
        • sum：所有元素求和，返回标量
        • mean：加权平均，返回标量

数据回归模型中常用的损失函数：

  • 5.nn.L1Loss
    • 功能：计算inputs与target之差的绝对值
    • 公式： l n = ∣ x n − y n ∣ l_n = |x_n - y_n| ln​=∣xn​−yn​∣
  • 6.nn.MSELoss
    • 功能：计算inputs与target之差的平方
    • 公式： l n = ( x n − y n ) 2 l_n = (x_n - y_n)^2 ln​=(xn​−yn​)2

两个损失函数的主要参数为：

  • reduction：计算模式，可为none/sum/mean
    - none：逐个元素计算
    - sum：所有元素求和，返回标量
    - mean：加权平均，返回标量

  • 7.SmoothL1Loss

    • 功能：平滑的L1Loss
    • 参数：
      • reduction：计算模式，可为none/sum/mean
        • none：逐个元素计算
        • sum：所有元素求和，返回标量
        • mean：加权平均，返回标量
          在这里插入图片描述
          在这里插入图片描述

  • 8.PoissonNLLLoss

    • 功能：泊松分布的负对数似然损失函数
    • 主要参数：
      • log_input：输入是否为对数形式，决定计算公式
      • full：计算所有loss，默认为False
      • eps：修正项，避免log(input)为nan
        在这里插入图片描述

  • 9.nn.KLDivLoss

    • 功能：计算KLD（divergence），KL散度，相对熵
    • 注意：需提前将输入计算log-probabilities, 如通过nn.logsoftmax()
    • 主要参数：
      • reduction：计算模式，可为none/sum/mean/batchmean
        • batchmean:batchsize维度求平均值
        • none：逐个元素计算
        • sum：所有元素求和，返回标量
        • mean：加权平均，返回标量
          在这里插入图片描述

  • 10.nn.MarginRankingLoss

    • 功能：计算两个向量之间的相似度，用于排序任务
    • 特别说明：该方法计算两组数据之间的差异，返回一个n*n的loss矩阵
    • 主要参数：
      • margin：边界值，x1与x2之间的差异值
      • reduction：计算模式，可为none/sum/mean
        在这里插入图片描述

  • 11.nn.MultiLabelMarginLoss

    • 功能：多标签边界损失函数
    • 主要参数：
      • reduction：计算模式
    • 示例：四分类任务，样本x输入0类和4类，标签[0,3,-1,-1]，不是[1,0,0,1]
      在这里插入图片描述

  • 12.nn.SoftMarginLoss

    • 功能：计算二分类的logistic损失
    • 参数：reduction：计算模式
      在这里插入图片描述

  • 13.nn.MultiLabelSoftMarginLoss

    • 功能：SoftMarginLoss多标签版本
    • 参数：
      • weight:各类别的loss设置权值
      • reduction：计算模式。
        在这里插入图片描述

  • 14.nn.MultiMarginLoss

    • 功能：计算多分类的折页损失
    • 参数：
      • p：可选1或2
      • weight：各类别的loss设置权值
      • margin：边界值
      • reduction：计算模式
        在这里插入图片描述
        在这里插入图片描述

  • 15.nn.TripletMarginLoss

    • 功能：计算三元组损失，人脸验证中常用
    • 主要参数：
      • p：范数的阶，默认为2
      • margin：边界值
      • reduction：计算模式
        在这里插入图片描述

  • 16.nn.HingeEmbeddingLoss

    • 功能：计算两个输入的相似性，常用于非线性embedding和半监督学习
    • 注意：输入x应为两个输入之差的绝对值
    • 主要参数：
      • margin：边界值
      • reduction：计算模式
        在这里插入图片描述

  • 17.nn.CosineEmbeddingLoss

    • 功能：采用余弦相似度计算两个输入的相似性
    • 主要参数：
      • margin：可取值[-1, 1]，推荐为[0, 0.5]
      • reduction: 计算模式
        在这里插入图片描述

  • 18.nn.CTCLoss

    • 功能：计算CTC损失，解决时序类数据的分类
    • 主要参数：
      • blank：blank label
      • zero_infinity：无穷大的值或梯度置0
      • reduction：计算模式
Aidanmomo
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Center-Loss-基于Pytorch实现Center-Loss损失函数-附项目源码.zip
05-28
PyTorch是一个强大的深度学习框架，其动态图机制和丰富的库支持使得实现自定义损失函数变得非常直观。在PyTorch中，我们首先需要定义一个`CenterLoss`类，它继承自`nn.Module`，并实现`forward`方法。在这个方法中，...
pytorch中交叉熵函数torch.nn.CrossEntropyLoss（）怎么加入权重
lidichengfo0412的博客
07-30 1万+
关于交叉熵函数torch.nn.CrossEntropyLoss的基本用法可参考https://blog.csdn.net/zziahgf/article/details/80196376。 那么如何在交叉熵函数中添加自定义的各类别的权重呢？定义参数weight即可，其中参数的内容要为tensor类型，而且要把dtype类型定义为float。用法为： ### 我的类别数为12 criterion ...
pytorch的交叉熵loss分权重nn.CrossEntropyLoss——训练集各类数量不均衡的解决——样本数量不平衡
weixin_41529093的博客
08-15 5448
仅作为记录，大佬请跳过。 感谢大佬师兄的提示，对网络的loss对各类设置权重（只用一行代码），解决训练集各类数量不均衡的问题（0类：49w，1类：7w；4类：155w）；（测试集的数据各类可以不均衡） 代码 import glob data_dir = '/Data4T/dataset_her2/dataset_her2_server_five-class_new_v2' imglist_dir_0=data_dir+'/train/0/';imglist_dir_1=data_dir+'/train/1/
损失函数：BCE Loss（二元交叉熵损失函数）、Dice Loss（Dice相似系数损失函数）
最新发布
FriendshipTang的博客
04-10 5017
Python、PyTorch、人工智能、损失函数
Pytorch实战-04 权值初始化与损失函数
Yuetian_w的博客
11-19 2037
Pytorch学习笔记-04 权值初始化与损失函数 文章目录Pytorch学习笔记-04 权值初始化与损失函数权值初始化Xavier初始化10种初始化方法损失函数nn.CrossEntropyLossnn.NLLLossnn.BCELossnn.BCEWithLogitsLoss其他loss优化器十种优化器学习率调整策略classLRSchedulerStepLRMultiStepLRExponentialLRCosineAnnealingLRReduceLRonPlateauLambdaLR学习率调整
动手学PyTorch | (9) 权重衰减
sdu_hao的博客
11-16 3700
上⼀节中我们观察了过拟合现象，即模型的训练误差远⼩于它在测试集上的误差。虽然增⼤训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价⾼昂。本节介绍应对过拟合问题的常用⽅法:权????衰减(weight decay)。 目录 1. 方法 2.高维线性回归实验 3. 从0开始实现 4. 简洁实现 5. 小结 1. 方法 权????重衰减等价于范数正则化(regularization)。正则化...
Pytorch实现多分类问题样本不均衡的权重损失函数 FocusLoss
qq1803291168
04-16 9365
# Pytorch实现多分类问题样本不均衡的权重损失函数FocusLoss
pytorch学习（九）——交叉熵代价函数原理及其在MNIST手写数字识别中的应用
11-09
上传时间：2020/11/09 ...内容：pytorch框架：交叉熵代价函数原理及其在MNIST手写数字识别中的应用（神经网络） 其他：pytorch学习练习代码 相关介绍：https://blog.csdn.net/jerry_liufeng/article/details/109573157
pytorch 模拟关系拟合——回归实例
09-18
PyTorch是一个流行的深度学习框架，它提供了强大的张量计算能力以及动态计算图的功能，使得模型训练更加灵活。 首先，我们要理解回归分析的目标。回归是一种统计方法，用于建立因变量（目标变量）和一个或多个自...
转战pytorch（2）——“简单”训练
01-06
框架多样性6.1 使用卷积神经网络6.2 使用序贯模型6.3 适用性更广——封装Dataloader6.4 更快的训练——使用GPU7. 小结 前言 上一章中我们主要介绍了pytorch的一些常用的层和一些定义，本章中，我们主要介绍一个简单...
深度学习PyTorch极简入门PDF教程1
08-03
在PyTorch框架中，学习深度学习可以方便地构建、训练和优化这些复杂的神经网络模型。PyTorch提供了动态计算图功能，使得模型的构建更加灵活，调试和研究也更为便捷。通过本教程，你将逐步了解深度学习的基础知识，并...
损失函数 | BCE Loss（Binary CrossEntropy Loss）
热门推荐
Just_do_myself的博客
03-10 11万+
BCE（Binary CrossEntropy）损失函数图像二分类问题--->多标签分类Sigmoid和Softmax的本质及其相应的损失函数和任务多标签分类任务的损失函数BCEPytorch的BCE代码和示例总结 图像二分类问题—>多标签分类 二分类是每个AI初学者接触的问题，例如猫狗分类、垃圾邮件分类…在二分类中，我们只有两种样本（正样本和负样本），一般正样本的标签y=1，负样本的标签y=0。比如下边这张图片，判断里边有没有人。 那么这张图片的标签为y=1，这时我们就根据标签y=1来设计模型
常见损失函数-BCELoss
当你发现自己的才华撑不起野心时，就请安静下来学习~
03-01 2504
是在二分类问题中常用的损失函数之一，通过衡量模型输出与实际标签之间的差异，帮助模型学习正确的分类决策。在实际应用中，合适选择损失函数对模型训练和性能至关重要。是指 Binary Cross Entropy Loss，也称为二元交叉熵损失，通常用于二分类问题中的损失函数。与优化算法（如 SGD、Adam 等）结合使用，通过最小化损失函数来优化模型参数，以提高模型的分类性能。通常用于评估二分类模型的输出与实际标签之间的差异，帮助模型学习正确的分类。在训练过程中，通常会将。
深刻剖析与实战BCELoss详解（主）和BCEWithLogitsLoss（次）以及与普通CrossEntropyLoss的区别（次）
qq_43391414的博客
09-24 1万+
afd
BCE loss和 CE理解
Blankit1的博客
08-19 1万+
BCE loss pytorch官网链接 BCE loss：Binary Cross Entropy Loss pytorch中调用如下。设置weight,使得不同类别的损失权值不同。 其中x是预测值，取值范围(0,1), target是标签，取值为0或1. 在Retinanet的分类部分最后一层的激活函数用的是sigmoid，损失函数是BCE loss.BCE loss可以对单个类别进行求损失，配合sigmoid（每个类别单独求概率，不同类别间互不影响）。相当于是把每个类别都看成了二分类的问题，为后面使
Pytorch中的损失函数-CROSSENTROPY LOSS
weixin_40994552的博客
03-11 3603
CLASS torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean', label_smoothing=0.0) weight (Tensor, optional) 每个类别的权重，如果指定，维度大小为 C (类别数) ignore_index (int, optional) 不计入损失函数的类别索引 reduction (string, opti
损失函数总结（三）：BCELoss、CrossEntropyLoss
走在深度学习前沿的小宋
10-25 2570
本文对损失函数进行了部分总结，包括：BCELoss、CrossEntropyLoss 等损失函数及其在当前损失函数众多的情况下使用的环境。总的来说：对于分类任务，CrossEntropyLoss 是其进行多分类任务的标准方法，而BCELoss 广泛用于二分类任务中。。。这两种损失函数都是当前较为常用的损失函数，可以好好研究一下。
【Pytorch深度学习50篇】·······第六篇：【常见损失函数篇】-----BCELoss及其变种
guligedong的博客
01-07 1万+
新年新气象，兄弟们新年快乐。撒花！！！之前我们的项目已经讲过了常见的4种深度学习任务（当然还有一些没有接触到的，例如GAN和今年大红的Transformer），今天这个blog我们就来谈谈一谈常见的损失函数。损失函数的更新也是非常的快，各位大佬的想法也是层出不穷，我们站在巨人的肩膀上，就可以看的更远，走的更远。BCELoss又叫二分类交叉熵损失，顾名思义，它是用来做二分类的损失函数，我们先来看看BCELoss的公式。其中pt---模型预测值，target---标签值, w---权重值,一般是1上面这个公式是
【损失函数】(五) BCELoss原理 & pytorch代码解析
Lizhi_Tech的博客
08-03 4230
我们了解完CrossEntropyLoss之后，BCELoss就十分好理解了，它全称为Binary Cross Entropy Loss，顾名思义就是CrossEntropyLoss的特殊二分类情况。BCELoss的计算公式如下：其中是每个类别的权重，默认的全为1，表示该类输出的概率，表示该类的真值。实际上就是把多分类特殊化为二分类，公式与交叉熵公式相同。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Aidanmomo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值