softmax和log_softmax，CrossEntropyLoss()和NLLLoss()

最新推荐文章于 2024-09-18 22:37:32 发布

LemonTree_Summer

最新推荐文章于 2024-09-18 22:37:32 发布

阅读量2.9k

点赞数

分类专栏： PyTorch

本文链接：https://blog.csdn.net/LemonTree_Summer/article/details/82757416

版权

PyTorch 专栏收录该内容

25 篇文章 1 订阅

订阅专栏

1. Softmax：接收一个实数向量，返回一个概率分布。假设X是一个实数的向量(正数或者负数都可以)，然后第i个softmax(x)的组成是

log_softmax: 在softmax的结果上再做一次log运算，数学上等价于log(softmax(x))，但比这两个操作单独做快很多

2.NLLLoss的输入是一个对数概率向量和一个目标标签，自身不会计算对数概率

经常用于网络的最后一层是log_softmax

nn.CrossEntroyLoss()与NLLLoss相同，不同的是交叉熵loss会计算softmax，用于多分类模型

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

LemonTree_Summer

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
4
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

NLL_Loss & CrossEntropyLoss（交叉熵）

Tabbyddd的博客

05-13

6379

EntropyLoss** 交叉熵损失函数。交叉熵描述了两个概率分布之间的距离，当交叉熵越小，说明二者之间越接近。实际上，可以认为： CrossEntropyLoss = log_sofrmax + NLLLoss 在对图片进行分类时，通常会一次性输入n张图片，最后得出一个n*c的tensor，c是此次分类的类别数：比如：n=10,c=2，表示一共10张图片，类别为2类 output = torch.tensor([[-2.8799, 1.1380], [ 0.4756, -0.277

pytorch笔记：03)softmax和log_softmax，以及CrossEntropyLoss

Javis486的专栏

03-19

1万+

softmax在神经网络里面比较常见，简而言之，就是多分类的概率输出 sotfmax(xi)=exp(xi)∑jexp(xj)sotfmax(xi)=exp⁡(xi)∑jexp⁡(xj)sotfmax(x_i)=\frac{\exp(x_i)}{\sum_j \exp(x_j)} 但是在pytorch里面发现额外有个log_softmax(对softmax取了一个In的对数)，为啥这样做呢？ ...

4 条评论您还未登录，请先登录后发表或查看评论

CrossEntropyLoss与NLLLoss

weixin_37821353的博客

12-02

174

结论：CrossEntropyLoss = NLLLoss + LogSoftmax(dim=1) 验证： # -*- coding: utf-8 -*- # # @Version: python 3.7 # @File: test.py # @Author: ty # @E-mail: nwu_ty@163.com # @Time: 2020/12/2 # @Description: # @Input: # @Output: # import torch input = torch.randn(3

【深度学习】（3）--损失函数

热门推荐

NeilPy的博客

07-14

2万+

最近看了一些Pytorch的代码，代码中使用了Log_Softmax方法，Loss函数使用了NLLLoss，作为深度学习新手，便上网查了一些资料，将相关知识总结记录以下。本文主要参考了这篇文章，在此基础上加入了一些自己的理解。 Softmax 我们知道softmax激活函数的计算方式是对输入的每个元素值x求以自然常数e为底的指数，然后再分别除以他们的和，其计算公式如下： Softmax(xi)=...

softmax与CrossEntropyLoss()，log_softmax与 NLLLoss()

联邦学习小白

11-01

729

我们在处理单标签多分类问题时，若考虑用softmax来对模型最后输出作计算以得到各标签的概率分布，那之后可以通过crossentropy做一个似然估计，求得误差但softmax求出来的概率分布中，每个标签的概率p∈(0,1)，当有些标签的概率过小时就会导致下溢出（实数在计算机内用二进制表示，所以不是一个精确值，当数值过小的时候，被四舍五入为0，这就是下溢出。此时如果对这个数再做某些运算（例如除以它）就会出问题。）。考虑softmax和crossentropy这个组合方案，crossentropy的计算是

pytorch 里的log_softmax, nll_loss, cross_entropy

shuijinghua的博客

11-28

1万+

import torch.nn.functional as F 常用的函数有： log_softmax,nll_loss, cross_entropy 1.log_softmax, 就是log和softmax合并在一起执行 2. nll_loss ,函数全称是negative log likelihood loss, 函数表达式为例如：假设x=[1,2,3], class=2...

Pytorch中易混淆的损失函数与激活函数【softmax, log_softmax, NLLLoss, CrossEntropy】

qq_43456497的博客

05-24

1761

softmax：将一个数值序列映射到概率空间（每个元素分布并且所有和为1）：在softmax的基础上取对数NLLLoss：对log_softmax与one-hot进行计算：衡量两个概率分布的差别（交叉熵）在分类问题中，CrossEntropy等价于log_softmax 结合 nll_loss。

torch.nn中NLLLoss与CrossEntropyLoss比较详解

m0_67146053的博客

01-11

1461

本篇文章中我们将详细比较torch.nn中两个损失函数类NLLLoss与CrossEntropyLoss，首先我们将介绍负对数似然和交叉熵，其次我们再介绍在Pytorch中两个类具体的执行计算方式。

【损失函数】NLLLoss损失、CrossEntropy_Loss交叉熵损失以及Label Smoothing示例与代码

qq_43426908的博客

10-30

2143

机缘巧合下，近期又详细学习了一遍各损失函数的计算，特此记录以便后续回顾。为了公式表示更加清晰，我们设yn∈{1,2,…,K}为样本n的真实标签，v=(v1,v2,…vK)为网络的输出，即样本n的预测结果，设N为一批样本的数目（即Batch size），K为分类任务的类别数目。

NLLLoss和CrossEntropyLoss的区别

思念殇千寻的博客

03-25

498

　　参考资料：　　https://blog.csdn.net/qq_22210253/article/details/85229988

NLLLoss和CrossEntropyLoss的区别和联系

u010995990的博客

11-02

5981

NLLLoss NLLLoss的全称是Negative Log Likelihood Loss，也就是最大似然函数。在图片进行单标签分类时，【注意NLLLoss和CrossEntropyLoss都是用于单标签分类，而BCELoss和BECWithLogitsLoss都是使用与多标签分类。这里的多标签是指一个样本对应多个label.】假设输入m张图片，输出一个m*N的tensor,其中N是分类的个数，比如N为词表大小。比如，输入3张图片，分三类，最后的输出是一个3∗33*33∗3的tensor，举一个例子

交叉熵损失（Cross entropy loss）与Nll_Loss之间的区别与联系

麦田里的守望者

11-28

1960

交叉熵损失通过网络卷积或全卷积直接获取的结果即可参与计算交叉熵损失。简单快捷，计算速度相对也快。 Nll_Loss Nll_Loss的计算前，卷积或者全卷积获取的结果需要通过softmax以及log函数的计算。 Nll_Loss做的事情主要是将输入数据取反，然后求均值。 ...

（详细全面）softmax和log_softmax的联系和区别,NLLLOSS和CrossEntropyLoss的联系和区别

qq_43391414的博客

07-02

1万+

1.softmax 作用：实现了将n维向量变成n维全为正数，且和为1的向量，在深度学习中可以解释为这个输入属于n个类别的概率。例子： import torch.nn.functional as F inp1=torch.Tensor([1,3,6]) print(inp1) print(F.softmax(inp1,dim=0)) print("#############") inp2=torch.Tensor([2,2,2]) print(

Pytorch softmax和log_softmax & CrossEntropyLoss() 与 NLLLoss()

Harpoon_fly的博客

12-14

2457

1、softmax 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 x 是一个实数的向量(正数或负数都无所谓, 没有限制). 然后, 第i个 Softmax(x) 的组成是 exp(xi)∑jexp(xj) 输出是一个概率分布: 每个元素都是非负的, 并且所有元素的总...

softmax()和log_softmax()、CrossEntropyLoss()和NLLLoss()对比分析

HUSTHY的博客

03-28

5243

softmax()和log_softmax()比较和分析

CrossEntropyLoss与NLLLoss的总结

街道口扛把子的博客

03-03

2万+

nll_loss(negative log likelihood loss)：最大似然 / log似然代价函数 CrossEntropyLoss: 交叉熵损失函数。交叉熵描述了两个概率分布之间的距离，当交叉熵越小说明二者之间越接近。 nn.CrossEntropyLoss() 与 NLLLoss() NLLLoss 的输入是一个对数概率向量和一个目标标签. 它不会为我们计算对数概率. 适合网络...