CrossEntropy Loss 学习记录

最新推荐文章于 2023-07-26 16:34:19 发布
最新推荐文章于 2023-07-26 16:34:19 发布
阅读量317 收藏
点赞数
分类专栏： pytorch 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/suzelong0402/article/details/106843165
版权

一直对CrossEntropy Loss的概念比较模糊，今天看了一下，终于理解，记录一下防止忘记！

首先要明白交叉熵的概念
交叉熵主要是用来判定实际的输出与期望的输出的接近程度，交叉熵越小则表明模型的不确定性越小，模型越稳定。
原版交叉熵函数为
在这里插入图片描述
其中p为期望输出(label)，q为实际输出概率。
而在CrossEntropy Loss中用到的交叉熵函数为
在这里插入图片描述
在CrossEntropy Loss 中， target 采用one-hot 的形式，即除了label位置为1，其余均为0
其中去掉了原版函数的后半部分，因为模型所需要的是实际输出与期望输出越接近越好。如果加上后半部分，即使期望输出与实际输出完全不同(one hot 对应位置为0)，也会得到一个很小的H(p,q)值，那么会对模型起一个误导的作用，模型认为自己学到了相关的知识，但实际上完全学错了方向。去掉后半部分就相当于去掉了一个干扰项，能够让模型更好的学习到所需知识，缩小loss。

上面的公式只是针对一个类别而言，当任务为多分类任务时，需对每一类别都采用上述公式，并最后加起来。
在计算交叉熵之前，需要先计算出每一类别的概率，即需要先采用softmax，将输出计算为概率。

nn.torch.CrossEntropy Loss中，将softmax log 和 NLLLoss 结合在一起
CrossEntropy Loss = Softmax + log + NLLLoss
在这里插入图片描述
x[class] 表示只需要计算label对应部分即可，详细可看一下NLLLoss的介绍。
用CrossEntropy Loss作损失函数的模型不需要在输出时Softmax。

CrossEntropy Loss 还可以设置每一类别的权重，以应对类别不平衡的情况
在这里插入图片描述

zlSpuerr
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
山东大学人工智能导论实验1工程文件-numpy的基本操作
07-05
山东大学人工智能导论实验1工程文件-numpy的基本操作 详解博客地址：https://blog.csdn.net/m0_52316372/article/details/125625648 内容： 使用numpy实现深度学习任务中的一些基本操作，包括以下函数：  sigmoid function  sigmoid gradient function  softmax function  cross entropy loss function 目标：  熟悉numpy的一些基本函数  理解sigmoid, softmax, cross entropy loss等函数 代码要求：  按代码模板实现函数功能 文档要求：  代码运行结果截图(main函数里的内容不要修改)  sigmoid函数的公式及图像  sigmoid函数梯度求解公式及图像  softmax函数公式  cross entropy loss function公式  它们在神经网络中有什么用处？
golang - switch_golang switch，一份非常适合收藏的Golang进阶面试题
最新发布
2401_84252820的博客
04-15 355
不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！fmt.Printf(“请输入一个字符：a,b,c,d,e,f,g\n”)请编写一个程序，该程序可以接收一个字符，比如：a,b,c,d,e,f,g。fmt.Println(“您没有按要求输入，请按照要求输入信息”)fmt.Println(“周一”)fmt.Println(“周二”)fmt.Println(“周三”)fmt.Println(“周四”)
交叉熵和softmax函数和sigmoid函数（在二分类中的比较）
orangerfun的博客
03-02 5603
1. 求交叉熵的步骤 1.将标签进行one_hot编码 2.神经网络输出后接softmax层，即预测值取softmax输出来进行交叉熵计算 3.使用交叉熵公式计算： H(y(i),y^(i))=−∑j=1qyj(i)log⁡y^j(i) H\left( \boldsymbol{y}^{\left( i \right)},\boldsymbol{\hat{y}}^{\left( i \right)}...
cross_entropy_loss交叉熵损失
qq_43248104的博客
07-26 158
信息量与事件发生的概率负相关，即事件越确定，概率越高，信息量越少，越不确定，信息量越高。用P代表真实发生的概率，Q代表预测的概率，则可得交叉熵损失。
交叉熵损失CrossEntropyLoss
Gefangenes的博客
06-03 1万+
这两种方法哪一个更好？
loss_loss_如何读取loss值_损失函数_
10-01
损失函数的类型多种多样，如均方误差（Mean Squared Error, MSE）、交叉熵损失（Cross-Entropy Loss）、对数似然损失（Log-Likelihood Loss）等，每种函数都有其适用的场景。在训练模型时，损失函数通常用来计算每次...
2020年2月17日笔记–记录下每天学习的内容
01-06
车辆行人重识别 数据集介绍：VeRi-776数据集和VehicleID数据集。 代码： ...collection of dataset&paper&code on Vehicle Re-...resnet50+cross entropy loss+triplet loss 3、https://github.com/Zhongdao/VehicleReI
机器学习面试题答案1
08-04
损失函数通常选择对数似然损失（Logistic Loss），也称为交叉熵损失（Cross-Entropy Loss）。对于二分类问题，损失函数为 \( L = -\sum_{i=1}^{N} [y_i log(\hat{y}_i) + (1-y_i) log(1-\hat{y}_i)] \)，其中 \( N \...
keras中的loss、optimizer、metrics用法
09-16
例如，`loss='categorical_crossentropy'`代表使用交叉熵作为损失函数。 2. **优化器(optimizer)**: 优化器负责在训练过程中更新模型的权重，以最小化损失函数。Keras提供了多种优化算法的实现，如随机梯度下降...
加速深度学习任务：TensorFlow GPU 教程
10-07
loss='sparse_categorical_crossentropy', metrics=['accuracy']) # 加载数据 (x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data() x_train, x_test = x_train / 255.0, x_test / 255.0...
Cross Entropy Loss 交叉熵损失函数学习
Norman0105的博客
06-23 115
Cross Entropy Loss 交叉熵损失 文章目录Cross Entropy Loss 交叉熵损失多分类问题特点公式实例应用二分类问题特点公式参考文献 多分类问题 特点 使用softmax作为输出，且所有输出的概率为1。 公式 H=−∑ioi∗log⁡(oi)H = - \sum\nolimits_i {o_i^*} \log ({o_i})H=−∑i​oi∗​log(oi​) 实例应用 假设真实标签的one-hot编码为[0,0,…,1,…,0,0] 预测的softmax概率为[0.1,0.2,
机器学习基础（六）—— 交叉熵代价函数（cross-entropy error）
bbbeoy的专栏
02-23 775
交叉熵代价函数1. 交叉熵理论交叉熵与熵相对，如同协方差与方差。熵考察的是单个的信息（分布）的期望：H(p)=−∑i=1np(xi)logp(xi)交叉熵考察的是两个的信息（分布）的期望： H(p,q)=−∑i=1np(xi)logq(xi)详见 wiki Cross entropyy = tf.placeholder(dtype=tf.float32, shape=[None, 10]) .....
【Pytorch基础】torch.nn.CrossEntropyLoss损失函数介绍
sxl的博客
05-10 1万+
目录1 交叉熵的定义2 交叉熵的数学原理3 Pytorch交叉熵实现3.1 举个栗子3.2 Pytorch实现3.3 F.cross_entropy参考文献 1 交叉熵的定义   交叉熵主要是用来判定实际的输出与期望的输出的接近程度，为什么这么说呢，举个例子：在做分类的训练的时候，如果一个样本属于第K类，那么这个类别所对应的的输出节点的输出值应该为1，而其他节点的输出都为0，即[0,0,1,0,….0,0]，这个数组也就是样本的Label，是神经网络最期望的输出结果。也就是说用它来衡量网络的输出与标签的差异
torch.nn.CrossEntropyLoss()使用注意
gary101818的博客
05-05 2327
torch.nn.CrossEntropyLoss()使用注意 CrossEntropyLoss(将 nn.LogSoftmax() 和 nn.NLLLoss() 结合在一个类中)一般用于计算分类问题的损失值，可以计算出不同分布之间的差距。 CLASS torch.nn.CrossEntropyLoss(weight: Optional[torch.Tensor] = None, size_average=None, ignore_index: int = -100, reduce=None, reduct
torch.nn.CrossEntropyLoss详解
hellozhxy的博客
03-23 604
本文主要讲述CrossEntropyLoss函数内部的计算逻辑
交叉熵损失函数（Cross Entropy Loss）
热门推荐
SongGu1996的博客
08-10 10万+
基础不牢，地动山摇，读研到现在有一年多了，发现自己对很多经常打交道的知识并不了解，仅仅是会改一改别人的代码，这使我感到非常焦虑，自此开始我的打基础之路。如果博客中有错误的地方，欢迎大家评论指出，我们互相监督，一起学习进步。 交叉熵损失函数（Cross Entropy Loss）在分类任务中出镜率很高，在代码中也很容易实现，调用一条命令就可以了，那交叉熵是什么东西呢？为什么它可以用来作为损失函数？...
Pytorch里的CrossEntropyLoss详解
Leora的博客
09-17 4136
首先要知道上面提到的这些函数一部分是来自于torch.nn,而另一部分则来自于torch.nn.functional(常缩写为F）。二者函数的区别可参见知乎:torch.nn和funtional函数区别是什么？ 下面是对与cross entropy有关的函数做的总结： torch.nn torch.nn.functional (F) CrossEntropyLoss cross_entropy LogSoftmax log_softmax NLLLoss nll_l.
torch.nn.CrossEntropyLoss用法(原理, nlp, cv例子)
andy dennis的博客
01-15 1万+
前言 早上想花一个小时参照网上其他教程，修改模型结构，写一个手写识别数字的出来，结果卡在了这个上面，loss一直降不下来，然后我就去查看了一下CrossEntropyLoss的用法，毕竟分类问题一般都用这个。 代码 引入一个库: import torch 假如是一个四分类任务，batch为2(只是为了显示简单，举个例子罢了) logists = torch.randn(2, 4, requires_grad=True) print(logists) 其实根据这个模型预测出来就是, 第一个样本预测
权重交叉熵的应用
小姑仔的博客
07-07 398
在实际应用中的指标可能与现实中的数据中的分布不同 比如考虑一组多分类数据的准确率，这个时候你就需要考虑这组数据每个标签的分布，因为有可能某几个标签在这组数据中的内容较多，而另外几个标签在这组数据之中出现的次数较少，此时你就需要给交叉熵损失函数赋上相应的权重，因为如果不负上权重，你计算的可能保证了这组数据按照分布比例的计算值较好，但是准确率，召回率一般为每个标签计算之后再求平均，这就相当于考虑的是每个标签的一种平均分布，与你的训练集合上面的数据分布不同，造成效果并不好。 ......
以 nn.CrossEntropyLoss 为损失函数，使用梯度下降方法训练该模型。 在训练过程中记录 训练损失、测试损失、训练分类正确率、测试分类正确率。
04-11
好的，这是一个关于机器学习的问题，我可以为您解答。在使用 nn.CrossEntropyLoss 作为损失函数时，我们可以通过梯度下降方法来训练模型。在训练过程中，我们需要记录训练损失和测试损失，以及训练分类正确率和测试分类正确率，以评估模型的性能表现。需要注意的是，在训练模型时，超参数的选择也会对模型的性能产生重要的影响。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值