NLL_Loss & CrossEntropyLoss（交叉熵）

最新推荐文章于 2024-07-19 14:50:34 发布

Tabbyddd

最新推荐文章于 2024-07-19 14:50:34 发布

阅读量6.3k

点赞数 14

分类专栏： PySOT

本文链接：https://blog.csdn.net/Tabbyddd/article/details/106101759

版权

EntropyLoss
交叉熵损失函数。交叉熵描述了两个概率分布之间的距离，当交叉熵越小，说明二者之间越接近。

实际上，可以认为：

CrossEntropyLoss = log_sofrmax + NLLLoss

在对图片进行分类时，通常会一次性输入n张图片，最后得出一个n*c的tensor，c是此次分类的类别数：
比如：n=10,c=2，表示一共10张图片，类别为2类

output = torch.tensor([[-2.8799,  1.1380],
        [ 0.4756, -0.2773],
        [ 1.0269,  1.3615],
        [ 0.6602, -0.3820

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Tabbyddd

关注关注

14
点赞
踩
23

收藏

觉得还不错? 一键收藏
3
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

NLLLoss和CrossEntropyLoss的区别和联系

u010995990的博客

11-02

5808

NLLLoss NLLLoss的全称是Negative Log Likelihood Loss，也就是最大似然函数。在图片进行单标签分类时，【注意NLLLoss和CrossEntropyLoss都是用于单标签分类，而BCELoss和BECWithLogitsLoss都是使用与多标签分类。这里的多标签是指一个样本对应多个label.】假设输入m张图片，输出一个m*N的tensor,其中N是分类的个数，比如N为词表大小。比如，输入3张图片，分三类，最后的输出是一个3∗33*33∗3的tensor，举一个例子

NLLLOSS & CrossEntropyLoss

梁小憨憨的博客

09-17

1438

今天在看论文的时候，看到了NLLLOSS函数，嗯？这是个啥，然后就查了查，原来是跟CrossEntropyLoss一样的，这里整理一下，方便以后查阅。

3 条评论您还未登录，请先登录后发表或查看评论

nn.NLLLoss()负对数似然损失函数和nn.CrossEntropyLoss()交叉熵损失函数在使用上的区别

最新发布

hahaha_1112的博客

07-19

355

nn.NLLLoss()负对数似然损失函数和nn.CrossEntropyLoss()交叉熵损失函数在使用上的区别

loss函数之NLLLoss，CrossEntropyLoss

ltochange的博客

06-15

4120

NLLLoss 负对数似然损失函数，用于处理多分类问题，输入是对数化的概率值。对于包含NNN个样本的batch数据 D(x,y)D(x, y)D(x,y)，xxx 是神经网络的输出，并进行归一化和对数化处理。yyy是样本对应的类别标签，每个样本可能是CCC种类别中的一个。 lnl_{n}ln 为第nnn个样本对应的losslossloss，0≤yn≤C−10 \leq y_{n} \leq C-10≤yn≤C−1 ln=−wynxn,ynl_{n}=-w_{y_{n}} x_{n, y_{n}}ln

nll_loss 和 cross_entropy

weixin_42727538的博客

11-29

1874

nll_loss torhc.nn.functional中给出的关于nll_loss的一个样例 target: 数值 <= C-1, 一般可以看作一个一维列表，存放的是真实类别编号先经过softmax，再经过log，最后再使用nll_loss # input is of size N x C = 3 x 5 input = torch.randn(3, 5, requires_grad=True) # each element in target has to have 0 <= value

NLL_LOSS与CROSS_ENTROPY_LOSS详解

GXG_boss6的博客

09-05

834

NLL_LOSS, CROSS_ENTROPY_LOSS详解常用损失函数nllcross_entropy一段代码transformer中的一段经典代码常用损失函数 nll 官方文档 torch.nn.functional.nll_loss(input, target, weight=None, size_average=None, ignore_index=- 100, reduce=None, reduction='mean') input,(N,C); target,(N);&nbsp

【损失函数】NLLLoss损失、CrossEntropy_Loss交叉熵损失以及Label Smoothing示例与代码

qq_43426908的博客

10-30

1937

机缘巧合下，近期又详细学习了一遍各损失函数的计算，特此记录以便后续回顾。为了公式表示更加清晰，我们设yn∈{1,2,…,K}为样本n的真实标签，v=(v1,v2,…vK)为网络的输出，即样本n的预测结果，设N为一批样本的数目（即Batch size），K为分类任务的类别数目。

pytorch 里的log_softmax, nll_loss, cross_entropy

shuijinghua的博客

11-28

1万+

import torch.nn.functional as F 常用的函数有： log_softmax,nll_loss, cross_entropy 1.log_softmax, 就是log和softmax合并在一起执行 2. nll_loss ,函数全称是negative log likelihood loss, 函数表达式为例如：假设x=[1,2,3], class=2...

Pytorch中的损失函数：CrossEntropyLoss和NLLLoss的区别

奥古斯都

06-29

2842

在网上也浏览了很多的博客，很多博主都从熵和信息量开始介绍，因为最近在使用损失函数过程中遇到一点问题，因此就想一探究竟到底pytorch中的交叉熵损失函数是如何计算的，所有最简单的从公式和代码开始看。接下来直接介绍这两个函数： 1、NLLLoss class torch.nn.NLLLoss(weight=None, size_average=True) 作用：训练一个n类的分类器参数 weight：可选的，应该是一个tensor，里面的值对应类别的权重，如果样本不均衡的话，这个参数非常有用，长

NLLLoss和CrossEntropyLoss

08-19

NLLLoss和CrossEntropyLoss是用于计算分类问题中的损失函数。在实际中，可以认为NLLLoss和CrossEntropyLoss是等价的。内置的CrossEntropyLoss函数就是完成这个计算的，可以通过nn.CrossEntropyLoss()来定义。这个...

softmax和log_softmax，CrossEntropyLoss()和NLLLoss()

LemonTree_Summer的博客

09-18

2917

1. Softmax：接收一个实数向量，返回一个概率分布。假设X是一个实数的向量(正数或者负数都可以)，然后第i个softmax(x)的组成是 log_softmax: 在softmax的结果上再做一次log运算，数学上等价于lo...

Pytorch学习笔记——NLLLoss & CrossEntropyLoss

m0_57126939的博客

02-24

583

NLLLoss(Negative Log Likelihood Loss)图解如下： CrossEntropyLoss(交叉熵损失函数)图解如下：二者关系为： LogSoftmax+ NLLLoss <===> CrossEntropyLoss 官方文档： CrossEntropyLoss — PyTorch 1.10 documentation NLLLoss — PyTorch 1.10 documentation ...

CrossEntropyLoss与NLLLoss

weixin_37821353的博客

12-02

157

结论：CrossEntropyLoss = NLLLoss + LogSoftmax(dim=1) 验证： # -*- coding: utf-8 -*- # # @Version: python 3.7 # @File: test.py # @Author: ty # @E-mail: nwu_ty@163.com # @Time: 2020/12/2 # @Description: # @Input: # @Output: # import torch input = torch.randn(3

交叉熵损失（Cross entropy loss）与Nll_Loss之间的区别与联系

麦田里的守望者

11-28

1929

交叉熵损失通过网络卷积或全卷积直接获取的结果即可参与计算交叉熵损失。简单快捷，计算速度相对也快。 Nll_Loss Nll_Loss的计算前，卷积或者全卷积获取的结果需要通过softmax以及log函数的计算。 Nll_Loss做的事情主要是将输入数据取反，然后求均值。 ...

NLL loss（负对数似然损失）