深度学习--第12篇: Pytorch损失函数

最新推荐文章于 2023-12-07 12:42:00 发布
置顶 最新推荐文章于 2023-12-07 12:42:00 发布
阅读量398 收藏
点赞数
分类专栏： 深度学习 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37568167/article/details/105918506
版权

Pytorch损失函数

1. 损失函数概念

损失函数：衡量模型输出与真实标签的差异
在这里插入图片描述

2. 损失函数

2.1 nn.CrossEntropyLoss

交叉熵损失函数,.
功能：nn.LogSoftmax()与nn.NLLLoss()结合，进行交叉熵计算 数据值进行归一化.
在这里插入图片描述
在这里插入图片描述

2.2 nn.NLLLoss

功能: 实现负对数似然函数中的负号功能
在这里插入图片描述

2.3 nn.BCELoss

二分类交叉熵, 输入取值在[0,1]
在这里插入图片描述

2.4 nn.BCEWithLogitsLoss

功能: 结合Sigmoid与二分类交叉熵
在这里插入图片描述

2.5 其他损失函数

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

RichExplorer
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
deep-cross-modal-hashing：PyTorch中的深度学习交叉模式哈希
02-05
torchcmh是一个基于PyTorch构建的库，用于深度学习交叉模式哈希。 包含： 数据可视化 基线方法 多个数据读取API 损失函数API 配置调用 数据集 我自己整理了四个数据集（Mirflickr25k，Nus Wide，MS coco，IAPR TC...
pytorch nn.BCELoss()详解
热门推荐
skywf的博客
03-04 5万+
官方链接看这里 由于中文版的挂了，这里先放英文版的 这里讲的是默认对一个batch里面的数据做二元交叉熵并且求平均。 参数说明 weight： 给每个batch元素的权重，一般没用 size_average: 默认为True reduce: True/False 默认为True,对每个minibatch做 reduction: 用的比较多的是这个，若用了2.3可能导致4失效。 shape描...
【pytorch损失函数（1）】之nn.BCELoss二进制交叉熵和 nn.BCEWithLogitsLoss
Hali_Botebie的博客
05-06 6222
可以看出梯度都与sigmoid函数的梯度有关，如下图所示，sigmoid函数在两端的梯度均接近0，这导致反向传播的梯度也很小，这就这就不利于网络训练，这就是 梯度消失问题。在面对不同的分类问题的时候，选择的loss function也不一样，二分类和多标签分类通常使用sigmoid函数而多分类则一般使用softmax函数（互斥性质）。目标值 y的范围是0-1之间。的到的一个一个样本的分类结果，这个结果的通俗解释就是：为第一类的概率为0.2，为第二类的概率为0.5,为第三类的结果过0.3。
torch.nn.BCELoss
一个学术five的blog
11-17 3761
torch.nn.BCELoss
torch.nn.BCELoss用法
qq_29631521的博客
03-16 4万+
1. 定义 数学公式为Loss = -w * [p * log(q) + (1-p) * log(1-q)]，其中p、q分别为理论标签、实际预测值，w为权重。这里的log对应数学上的ln。 PyTorch对应函数为： torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction=‘mean’) 计算目标值和预测值之间...
交叉熵损失函数 nn.BCELoss()和crossentropyloss（）
最新发布
oceancoco的博客
12-07 1252
在做分类训练的时候，如果一个样本属于第K类，那么这个类别所对应的输出节点的输出值应该为1，而其他节点的输出为0，即[0,0,0,1,0……**交叉熵：**它主要刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。crossentropyloss()和BCELoss()原理是一样的，但是具体的计算结果是不一样的，首先是公式就不一样；在多分类问题中输出层的函数是Softmax函数，在二分类问题中的输出层的函数时Sigmod函数。交叉熵损失是分类中最常用的一个损失函数。
pytorch-deep-photo-enhancer:pytorch深度照片增强器的实现
05-24
深度照片增强器的Pytorch实现该项目基于论文《深度照片增强器：使用GAN进行照片增强的不成对学习》。 作者的项目地址为： 我的代码基于中文文档说明请看要求Python 3.6 CUDA 10.0 要安装的要求： pip install -r ...
cnn-text-classification-pytorch:PyTorch中用于句子分类的CNN
05-10
这是PyTorch中Kim的论文的实现。 Kim在Theano中对该模型的实现： ： Denny Britz在Tensorflow中有一个实现： : 亚历山大·拉赫林（Alexander Rakhlin）在Keras的执行； 要求 Python3 火炬> 0.1 火炬文本> 0.1 ...
pytorch-multi-label-classifier:pytorch实现的用于多标签分类的分类器
05-17
pytorch-multi-label-classifier引言实现的用于多标签分类的分类器。 您可以轻松地train ， test多标签分类模型并visualize训练过程。 以下是可视化单标签分类器训练的示例。 如果您有多个属性，则毫无疑问，每个...
InverseRL-GAIL-VAIL-On-MuJoCo:Pytorch GAIL VAIL实施
04-19
InverseRL-GAIL-VAIL-MuJoCo 火炬
对于pytorch中nn.CrossEntropyLoss()与nn.BCELoss()的理解和使用
qq_35605081的博客
09-02 1万+
在pytorch中nn.CrossEntropyLoss()为交叉熵损失函数，用于解决多分类问题，也可用于解决二分类问题。 nn.BCELoss()为二元交叉熵损失函数，只能解决二分类问题。
nn.BCELoss, nn.CrossEntropyLoss, nn.BCEWithLogitsLoss
encourageykk的博客
11-06 135
即 负的可能性的对数 的期望 代表了该事件理论上的平均最小编码长度。更灵活，可以用来计算指标，不进行梯度计算，反向传播等。交叉熵使实际编码长度和理论最小编码长度有了对比意义。二分类交叉熵是交叉熵的一个特例，当只有两个类别时，有。好于使用Sigmoid层和BCELoss的组合使用。熵是服从某一概率分布事件的理论最小平均编码长度。因此可以将交叉熵用于分类损失函数。其中P是真实概率分布，Q是预估概率分布。，其对输入进行Sigmod层，该函数的。
机器学习常用损失函数
机器人视觉感知
09-23 612
损失函数主要是用来衡量真值与预测值之间的偏离程度，根据其离散还是连续分为分类和回归损失函数。 1.二分类交叉熵 Binary Cross-Entropy Loss: L(yi,yi^)=−1m∑i=1m(yilog(yi^)+(1−yi)(1−yi^))L(y_{i}, \hat{y_{i}}) = -\frac{1}{m}\sum\limits_{i=1}^{m}(y_{i}log(\hat{y_{i}})+(1-y_{i})(1-\hat{y_{i}}))L(yi​,yi​^​)=−m1​i=1∑m​(
torch.nn.BCELoss （）函数的用法
Kelly_Ai_Bai的博客
12-02 1033
二元交叉熵损失函数
Pytorch中torch.nn的损失函数
foolishpeng的博客
04-22 2878
前言 最近使用Pytorch做多标签分类任务，遇到了一些损失函数的问题，因为经常会忘记（好记性不如烂笔头囧rz），都是现学现用，所以自己写了一些代码探究一下，并在此记录一下，如果以后还遇到其他损失函数，继续在此补充。 一、torch.nn.BCELoss() ...
PyTorch 模型训练实用教程（四）：损失函数
qq_38156104的博客
09-09 2446
目录 PyTorch 的⼗七个损失函数 1. L1loss 2. MSELoss 3. CrossEntropyLoss 4. NLLLoss 5. PoissonNLLLoss 6. KLDivLoss 7. BCELoss 8. BCEWithLogitsLoss 9. MarginRankingLoss 10. HingeEmbeddingLoss 11. MultiLabelMarginLoss 12. SmoothL1Loss 13. SoftMarginLoss .
【损失函数】(五) BCELoss原理 & pytorch代码解析
Lizhi_Tech的博客
08-03 2765
我们了解完CrossEntropyLoss之后，BCELoss就十分好理解了，它全称为Binary Cross Entropy Loss，顾名思义就是CrossEntropyLoss的特殊二分类情况。BCELoss的计算公式如下：其中是每个类别的权重，默认的全为1，表示该类输出的概率，表示该类的真值。实际上就是把多分类特殊化为二分类，公式与交叉熵公式相同。
【PyTorch】nn.BCELoss 的细节
Esperanto.的博客
08-25 1055
nn.BCELoss()
【pytorch】nn.CrossEntropyLoss & nn.BCELoss & nn.BCEWithLogitsLoss
weixin_43736572的博客
03-26 1326
交叉熵loss
边做边学深度强化学习:pytorch程序设计实践在线下载
10-18
边做边学深度强化学习:pytorch程序设计实践是一本非常有用的书籍，旨在帮助读者通过实践的方式学习深度强化学习并掌握PyTorch程序设计技巧。该书提供了在线下载的方式，方便读者获取相关资源。 深度强化学习是一种...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值