[转载]用数据说话 Pytorch详解NLLLoss和CrossEntropyLoss

最新推荐文章于 2021-02-01 12:51:31 发布
最新推荐文章于 2021-02-01 12:51:31 发布
阅读量135 收藏
点赞数
分类专栏： 统计学
原文链接：https://www.cnblogs.com/jiading/p/11979391.html
版权

[转载]用数据说话  Pytorch详解NLLLoss和CrossEntropyLoss

https://www.cnblogs.com/jiading/p/11979391.html

 

NLL_Loss & CrossEntropyLoss（交叉熵）

https://blog.csdn.net/Tabbyddd/article/details/106101759

 

 

PyTorch学习笔记——softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数

https://blog.csdn.net/hao5335156/article/details/80607732

 

视频讲解很不错的NLLLoss

https://www.bilibili.com/video/BV1ux411M7Dn?from=search&seid=8425929095314417613

为什么用log对数作为损失函数cost function呢

https://www.cnblogs.com/hum0ro/p/10243115.html

火星种萝卜
关注
专栏目录
nn.CrossEntropyLoss() nn.NLLLoss()多分类损失函数计算过程详解
08-21 3250
import torch import torch.nn as nn x_input=torch.randn(3,3) print('x_input:\n',x_input) y_target=torch.tensor([1,2,0]) #计算输入softmax，此时可以看到每一行加到一起结果都是1 softmax_func=nn.Softmax(dim=1) soft_output=softmax_func(x_input) print('soft_output:\n',soft_out...
交叉熵代价函数
热门推荐
wepon的专栏
03-13 15万+
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为： 其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+
交叉熵代价函数（作用及公式推导）
Arthur-Chen的专栏
04-02 12万+
交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的输出值与实际值的一种方式。与二次代价函数（Quadratic cost function）相比，它能更有效地配合反向传播算法，促进ANN的训练。
【Pytorch】【代价函数】【损失函数】{ nn.CrossEntropyLoss()和nn.NLLLoss()，各种损失函数讲解，sigmoid cross-entropy}
aiaiai010101的博客
01-18 448
https://blog.csdn.net/zwqjoy/article/details/96282788
深入析构 交叉熵代价函数（Cross-entropy cost function） 优化器
qq_17674161的博客
04-04 585
信息论 交叉熵代价函数（Cross-entropy cost function） 的数学意义：     数学意义： 用于度量两个概率分布间的差异信息，    与二次代价函数比较： 二次代价函数不考虑概率性，在几何上的解释： 二次闵可夫斯基距离： 欧式距离， 在处理数据的bool尔值类型和联系性数据特征时，连续性数据可以采用一次代价函数：曼哈顿距离。非连续性函数采用二次。因此，在处理连续性数据特征和...
pytorch CrossEntropyLoss 的数值稳定性问题
learning notes
11-29 4575
手写了一个带 mask 的 CrossEntropyLoss, 分为了 softmax, log， nllloss 三个步骤。 先 softmax, 再log + nllloss出现inf, 先 log_softmax, 再nllloss就可以了。
PyTorch详解NLLLoss + softmax和CrossEntropyLoss
alittlebai1的博客
05-11 742
1.softmax** 1.1作用 将得到的数据变为1的分布，使结果在0-1之间，方便评估和比较预测结果； 当我们通过模型 得到三个输出（O1=0.1 , O2 = 1,O3 = 10） 那么我们就选择最大为我们想要的结果。但是三个数字之间的差距太大，那么就用softmax将三个值归一化到0-1之间 2.softmax公式 例如上述的三个数，y1 = exp(0.1)/( exp(0.1) + exp(1) + exp(10) ) 剩下的以此类推。 在import torch.nn.functi.
Pytorch-nn.CrossEntropyLoss
好河流
02-28 4284
loss_func = nn.CrossEntropyLoss() 这个交叉熵损失函数输入的两个参数的shape并不是相同的，一个是各个类别分别的概率（类似于独热码），另一个是位置下标的阿拉伯数字 另外： 例如： >>> loss = nn.CrossEntropyLoss() >>> input = torch.randn(3,...
Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解
NeilPy的博客
07-14 2万+
最近看了一些Pytorch的代码，代码中使用了Log_Softmax方法，Loss函数使用了NLLLoss，作为深度学习新手，便上网查了一些资料，将相关知识总结记录以下。 本文主要参考了这篇文章，在此基础上加入了一些自己的理解。 Softmax 我们知道softmax激活函数的计算方式是对输入的每个元素值x求以自然常数e为底的指数，然后再分别除以他们的和，其计算公式如下： Softmax(xi)=...
pytorch验算CrossEntropyLoss ，BCELoss 和 BCEWithLogitsLoss
咕噜咕噜
07-21 1652
目录一. 手算验证交叉熵验证：输出：二. 手算验证BCEwith_loss 和 BCEWithLogitsLoss验证：输出：三. 验证BCE_loss在二分类时是交叉熵的特例验证：输出： ——————————————————————————————————————————————————— 一. 手算验证交叉熵 (class torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None,
【深度学习】Cross Entropy Loss
麒麒哈尔的博客
04-14 6064
文章目录起因Cross Entropy Loss的由来Tensorflow中的CEPytorch中的CEPytorch中CE和BCE的区别Pytorch对真正CE的支持 Cross Entropy Loss (CE)被经常用在分类问题中，但之前也没仔细了解过其中一些细节。本博客主要针对Pytorch中对CE的支持，但也结合了对TensorFlow中的CE的支持。 其中本博客参考总结了大量其他博客的...
PyTorch学习笔记——softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数...
weixin_30719711的博客
06-22 342
1、softmax 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 x 是一个实数的向量(正数或负数都无所谓, 没有限制). 然后, 第i个 Softmax(x) 的组成是 exp(xi)∑jexp(xj)exp⁡(xi)∑jexp⁡(xj) 输出是一个概率分布:...
PyTorch中梯度为什么默认自动累加，在反向传播前要手动将梯度清零？
龙雪的博客
07-16 5754
低显存跑大batchsize的角度 这种模式可以让梯度玩出更多花样，比如说梯度累加（gradient accumulation） 传统的训练函数，一个batch是这么训练的： for i,(images,target) in enumerate(train_loader): # 1. input output images = images.cuda(non_blocking=True) target = torch.from_numpy(np.array(target)).
Pytorch(3):梯度下降，激活函数与loss，反向传播算法，交叉熵，MNIST测试实战
JJJJJJames的博客
02-01 678
1、梯度 梯度是一个反向，函数值变大的方向 在做梯度下降时，自变量和因变量是参数和loss函数，参数的值会沿着梯度的方向即loss值更小的方向更新。 2、learning rate learning rate如果太小，那么梯度下降太慢，计算时间太长 learning rate 太大的话，梯度下降可能会反复在局部最小值两端横跳 让lr在梯度较大时，大一些，在梯度较小时，小一些。 可以在lr上加上每次梯度下降时刻的梯度的平方和再开根号来限制lr的变化：AdaGrad 3、initialization st
（三）PyTorch学习笔记——softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数
Haward
06-07 13万+
1、softmax 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 x 是一个实数的向量(正数或负数都无所谓, 没有限制). 然后, 第i个 Softmax(x) 的组成是 exp(xi)∑jexp(xj)exp⁡(xi)∑jexp⁡(xj) \frac{\exp...
【代价函数】Cross_entropy：交叉熵损失函数（Cross_entropy loss）
yuanCruise
08-27 1万+
1.Cross_entropy公式及导数推导 损失函数： a=σ(z), where z=wx+b 利用SGD等算法优化损失函数，通过梯度下降法改变参数从而最小化损失函数： 对两个参数权重和偏置进行求偏导： 推导过程如下(关于偏置的推导是一样的)： Note：这个推导中利用了sigmoid激活函数求导，才化简成最后的结果的。sigmoid求导详解 2.分析交叉熵...
PyTorch的 nn.CrossEntropyLoss() 方法详解
weixin_44298740的博客
03-17 1万+
由于该方法的详细解释我已在jupyter中写好了，所以我就直接上图吧。 该方法可由nn.LogSoftmax(),nn.NLLLoss()两个方法组合而成. 参考文章： https://zhuanlan.zhihu.com/p/98785902 ...
CrossEntropyLoss与NLLLoss的总结
街道口扛把子的博客
03-03 2万+
nll_loss(negative log likelihood loss)：最大似然 / log似然代价函数 CrossEntropyLoss: 交叉熵损失函数。交叉熵描述了两个概率分布之间的距离，当交叉熵越小说明二者之间越接近。 nn.CrossEntropyLoss() 与 NLLLoss() NLLLoss 的 输入 是一个对数概率向量和一个目标标签. 它不会为我们计算对数概率. 适合网络...
机器学习基础（六）—— 交叉熵代价函数（cross-entropy error）
03-24 4万+
交叉熵代价函数比较困惑的一点是，Logistic Regression 中存在交叉熵作为误差函数，神经网络（neural network）也可以使用交叉熵作为代价函数，然而形式上却有一些不同Logistic Regression 中的交叉熵代价函数逻辑斯回归所要求解代价函数为：
nn.nllloss和crossentropyloss区别
最新发布
08-14
nn.NLLLoss()和nn.CrossEntropyLoss()是用于多分类任务的损失函数，在PyTorch中它们实际上是相同的。唯一的区别在于它们接收的输入不同： - nn.NLLLoss()的输入是一个对数概率向量和一个目标标签，它不会为我们计算对数概率。适合网络的最后一层是log_softmax损失函数的情况。 - nn.CrossEntropyLoss()的输入是一个预测值和一个目标标签，它会为我们自动计算预测值的对数概率，即先做softmax，再做log处理。在实际使用中，两者可以互换使用，效果是一样的。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [paddle中nll_loss()与CrossEntropyLoss()损失函数区别](https://blog.csdn.net/weixin_43848436/article/details/115448659)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Pytorch中损失函数 NLLLOSS 和 CROSSENTROPYLOSS 的区别](https://blog.csdn.net/cnhwl/article/details/125518586)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值