整理：熵、KL散度、交叉熵、nn.CrossEntropyLoss()、nn.LogSoftmax()、nn.NLLLoss()

最新推荐文章于 2025-03-27 20:29:28 发布
最新推荐文章于 2025-03-27 20:29:28 发布
阅读量1k 收藏 13
点赞数 4
分类专栏： 11 Python/DL/ML
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pengchengliu/article/details/112529197
版权
本文深入探讨信息量、熵、相对熵（KL散度）和交叉熵的概念，并结合PyTorch库，详细阐述nn.CrossEntropyLoss()、nn.LogSoftmax()和nn.NLLLoss()的使用方法与计算过程，通过实例验证加深理解。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、信息量、熵、相对熵（KL散度）、交叉熵

二、Softmax 与 交叉熵

三、pytorch中的交叉熵损失 nn.CrossEntropyLoss()

四、pytorch中的LogSoftmax()与nn.NLLLoss()

五、扩展nn.NLLoss()的计算

一、信息量、熵、相对熵（KL散度）、交叉熵

讲解逻辑：

最低0.47元/天 解锁文章
【Pytorch实用教程】nn.LogSoftmax的详细用法及公式
若北辰
08-06 989
PyTorch 中的一个层，用于在对数空间中计算 Softmax 激活函数。它通常用于多类别分类任务中，以提高数值稳定性。其输入是 logits，即未归一化的得分，输出是这些得分在对数空间中的 Softmax。
深度学习loss总结：nn.CrossEntropyLoss,nn.MSELoss,Focal_Loss,nn.KLDivLoss等
@bangbang的博客
11-19 1007
交叉熵主要是用来判定实际的输出与期望的输出的接近程度，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出(target)，概率分布q为实际输出(pred),HpqH(p,q)HpqPytorch中的CrossEntropyLoss()函数而是交叉熵的另外一种方式计算得到的：Pytorch中函数的主要是将和NLLLoss最小化负对数似然函数）合并到一块得到的结果(1)首先对预测值pred进行softmax计算：其中softmax。
KL散度损失函数
m0_53444618的博客
11-21 1万+
2021SC@SDUSC
【NLP 50、损失函数 KL散度】
最新发布
m0_73983707的博客
03-27 1139
KL散度（相对熵）是衡量两个概率分布 P 和 Q 之间差异的非对称性指标。它量化了当用分布 Q 近似真实分布 P 时的信息损失，即P和Q的顺序不能交换，当且仅当P = Q时取等号。
pytorch nn.LogSoftmax
Claroja
09-01 5399
应用 # softmax层 # m = nn.Softmax(dim=1) # input = torch.randn(2, 3) # output = m(input) m = nn.LogSoftmax() input = torch.randn(2, 3) output = m(input) import torch input=torch.randn(2,1) input soft = torch.nn.Softmax(dim=0) logsoft = torch.nn.LogSoftmax(d
probability，odds，logit, softmax, logSoftmax，交叉熵
Hello Word!
04-26 854
probability：事件发生的概率 odds: 事件发生的概率和不发生的概率之比 p/(1-p) logit：odds 的对数 log[p/(1-p)] https://zhuanlan.zhihu.com/p/27188729
CrossEntropyLoss函数，里面还包含了nn.LogSoftmax函数和nn.NLLLoss函数
zz2230633069的博客
05-24 2508
对于单样本：其中lable是一个数字（最小为0最大为C-1）代表x属于哪一类，y是lable的one hot 编码。 举例：x是一个4分类的一个样本: x=[1, 33.1, 77.02, 3.78]，label=2，y=[0,0,1,0]，这里C=4 对于多样本： 举例：X=[ [1, 2.22, 3.35, 4], [5, 6, 7.2, 8] ]，target=[1,0]，Y=[ ...
KLD Loss（ tf.nn.softmax, torch.nn.functional.softmax, log_softmax, kl_div） 计算技巧(一)
Forrest97的博客
11-09 4788
最近在比较不同模型的性能，发现虽然文献中使用的相同的指标，比如KLD。但是数据的处理方式却存在着差异，这会导致最后的数据并不具有直接可比性。 这里记录下，其中的一些值得记住的细节。主要涉及的API包括tf.nn.softmax, torch.nn.functional.softmax, log_softmax, kl_div 文章目录二维数据输入数据前处理tf.nn.softmaxtorch.nn.functional.softmaxkld 散度计算tensorflowpytorch完整代码 二维数据输入
交叉熵损失函数（Cross Entropy Loss）.pdf
05-12
- **PyTorch等库的实现**：在PyTorch等深度学习框架中，通常提供现成的交叉熵损失函数实现，如`torch.nn.functional.cross_entropy`，它不仅计算损失，还会自动将模型的输出归一化为概率分布，无需额外处理。...
交叉熵在机器学习中的使用，透彻理解交叉熵以及tf.nn.softmax_cross_entropy_with_logits的用法
qq_26449287的博客
10-09 520
关于交叉熵在loss函数中使用的理解 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够深入。遂花了几天的时间从头梳理了一下相关知识点，才算透彻的理解了，特地记录下来，以便日后查阅。 ...
损失函数——KL散度（Kullback-Leibler Divergence，KL Divergence）
weixin_50752408的博客
03-15 2万+
KL散度衡量的是在一个概率分布 �P 中获取信息所需的额外位数相对于使用一个更好的分布 �Q 所需的额外位数的期望值。要在训练中使用 KL散度作为损失函数，可以将其作为模型的一部分加入到损失函数的计算中。在机器学习中，KL散度常常用于衡量两个概率分布之间的差异程度，例如在生成模型中使用 KL散度作为损失函数的一部分，或者在聚类和分类问题中使用 KL散度作为相似度度量。需要注意的是，KL散度的计算要求 P 和 Q 的元素都为正数，因此需要在计算前对两个概率分布进行归一化处理，使其元素和为 1。
nn.Softmax()与nn.LogSoftmax()
热门推荐
geter_CS的博客
09-28 3万+
nn.Softmax()计算出来的值，其和为1，也就是输出的是概率分布，具体公式如下： 这保证输出值都大于0，在0,1范围内。 而nn.LogSoftmax()公式如下： 由于softmax输出都是0-1之间的，因此logsofmax输出的是小于0的数，   softmax求导： logsofmax求导： 例子： import torch.nn as nn imp...
理解「交叉熵」损失函数（包含自信息、信息熵、KL散度、交叉熵概念整理）
人工智能算法与工程实践
10-09 6470
KL散度、交叉熵可以用于衡量模型的“损失”。要深入理解KL散度和交叉熵，首先要从信息论中的基础概念入手。
交叉熵损失和KL散度损失
karmueo46的博客
11-20 1296
交叉熵损失和KL散度损失是常用的衡量两个概率分布之间差异的方法，在神经网络训练中，常用如分类问题和生成模型中。例如，交叉熵常用于分类问题KL散度常用于变分自编码器(VAE)中来衡量近似后验分布和真实后验分布的差异。实际使用时经常忘记这两个概念，下面把这两个概念记录下来以提高记忆点。交叉熵用于直接计算真实分布和预测分布之间的差异。比如。
Pytorch中KL loss
flyingluohaipeng的博客
11-26 4560
第三个参数reduction有三种取值，为 none 时，各点的损失单独计算，输出损失与输入（x）形状相同；为 mean 时，输出为所有损失的平均值；为 sum 时，输出为所有损失的总和。
探索KL散度损失函数：一个深度学习中的关键工具
gitblog_00089的博客
04-13 1701
探索KL散度损失函数：一个深度学习中的关键工具 项目地址:https://gitcode.com/gh_mirrors/kl/KL-Loss 在机器学习和深度学习领域中，损失函数的选择是模型优化的关键。是一个由yihui-he开发的项目，它关注的是Kullback-Leibler（KL）散度作为损失函数的应用。本文将介绍KL-Loss的基本概念、技术实现、应用场景及特性，帮助开发者更好地理解和利用...
nn.Softmax()与nn.LogSoftmax()与F.softmax(）
qq_34595138的博客
01-09 6328
nn.Softmax()与nn.LogSoftmax()与F.softmax(） nn.Softmax() 计算出来的值，其和为1，也就是输出的是概率分布，具体公式如下： 这保证输出值都大于0，在0,1范围内。 nn.LogSoftmax() 公式如下： 由于softmax输出都是0-1之间的，因此logsofmax输出的是小于0的数， softmax求导： logsofmax求导： 例子： import torch.nn as nn import torch import numpy as np
CrossEntropyLoss损失函数的计算过程
weixin_42173136的博客
03-31 233
CrossEntropyLoss损失函数的计算过程
import torch import torch.nn as nn import torch.nn.functional as F __all__ = ["LMD_Loss"] def lmd_criterion( logits_student, logits_teacher, target, T, major_labels, ): bs = logits_student.size(0) gt_mask = _get_gt_mask(logits_student, target) label_mask = torch.zeros_like(logits_student).scatter_(1, major_labels.repeat(bs, 1), 1).bool() pred_t = F.softmax(logits_teacher / T - 1000 * label_mask - 1000 * gt_mask, dim=1) pred_s = F.log_softmax(logits_student / T - 1000 * gt_mask, dim=1) return nn.KLDivLoss(reduction="batchmean")(pred_s, pred_t) * (T ** 2) def _get_gt_mask(logits, target): target = target.reshape(-1) mask = torch.zeros_like(logits).scatter_(1, target.unsqueeze(1), 1).bool() return mask class LMD_Loss(nn.Module): def __init__(self, num_classes=10, tau=1, beta=1): super(LMD_Loss, self).__init__() self.CE = nn.CrossEntropyLoss() self.MSE = nn.MSELoss() self.KLDiv = nn.KLDivLoss(reduction="batchmean") self.num_classes = num_classes self.tau = tau self.beta = beta def forward(self, logits, targets, dg_logits, major_labels): ce_loss = self.CE(logits, targets) lmd_loss = lmd_criterion(logits, dg_logits, targets, self.tau, major_labels) loss = ce_loss + self.beta * lmd_loss return loss逐句解释这个代码块的内容
03-10
self.CE = nn.CrossEntropyLoss() self.MSE = nn.MSELoss() self.KLDiv = nn.KLDivLoss(reduction="batchmean") self.num_classes = num_classes self.tau = tau self.beta = beta ``` - 继承`nn.Module`实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值