CrossEntropy Loss 学习记录

最新推荐文章于 2023-06-03 01:23:09 发布
最新推荐文章于 2023-06-03 01:23:09 发布
阅读量318 收藏
点赞数
分类专栏： pytorch 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/suzelong0402/article/details/106843165
版权

一直对CrossEntropy Loss的概念比较模糊，今天看了一下，终于理解，记录一下防止忘记！

首先要明白交叉熵的概念
交叉熵主要是用来判定实际的输出与期望的输出的接近程度，交叉熵越小则表明模型的不确定性越小，模型越稳定。
原版交叉熵函数为
在这里插入图片描述
其中p为期望输出(label)，q为实际输出概率。
而在CrossEntropy Loss中用到的交叉熵函数为
在这里插入图片描述
在CrossEntropy Loss 中， target 采用one-hot 的形式，即除了label位置为1，其余均为0
其中去掉了原版函数的后半部分，因为模型所需要的是实际输出与期望输出越接近越好。如果加上后半部分，即使期望输出与实际输出完全不同(one hot 对应位置为0)，也会得到一个很小的H(p,q)值，那么会对模型起一个误导的作用，模型认为自己学到了相关的知识，但实际上完全学错了方向。去掉后半部分就相当于去掉了一个干扰项，能够让模型更好的学习到所需知识，缩小loss。

上面的公式只是针对一个类别而言，当任务为多分类任务时，需对每一类别都采用上述公式，并最后加起来。
在计算交叉熵之前，需要先计算出每一类别的概率，即需要先采用softmax，将输出计算为概率。

nn.torch.CrossEntropy Loss中，将softmax log 和 NLLLoss 结合在一起
CrossEntropy Loss = Softmax + log + NLLLoss
在这里插入图片描述
x[class] 表示只需要计算label对应部分即可，详细可看一下NLLLoss的介绍。
用CrossEntropy Loss作损失函数的模型不需要在输出时Softmax。

CrossEntropy Loss 还可以设置每一类别的权重，以应对类别不平衡的情况
在这里插入图片描述

zlSpuerr
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
nn.CrossEntropyLoss()并不要求target与模型最后一层输出一样
q_xiami123的博客
05-11 395
CNN( (conv1): Conv2d(1, 8, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) (pool): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False) (conv2): Conv2d(8, 16, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) (fc1): Linear
loss的热图编码output与label的计算——即pytorch的nn.CrossEntropyLoss
weixin_41529093的博客
08-29 629
仅作为记录，大佬请跳过。 文章目录背景代码参考 背景 output是每一类对应一个概率值 label是其中一类 nn.CrossEntropyLoss是怎么计算 代码 import torch import torch.nn as nn import math criterion = nn.CrossEntropyLoss() output = torch.randn(1, 5, requires_grad=True) label = torch.empty(1, dtype=torch.long).
分类模型的 Loss 为什么使用 cross entropy 而不是 classification error 或 squared error
susandebug
07-19 2905
提纲： 分类模型 与 Loss 函数的定义， 为什么不能用 Classification Error， Cross Entropy 的效果对比， 为什么不用 Mean Squared Error， 定量理解 Cross Entropy， 总结， 参考资料。 交叉熵定义：http://blog.csdn.net/lanchunhui/article/detai
Pytorch CrossEntropyloss使用方法（包含多维target）
weixin_42863990的博客
05-08 5805
Pytorch CrossEntropyloss使用方法（包含多维target） 以前都是用tf，最近转来用pytorch。最近博主做一个东西需要用到crossentropyloss，输出是多维输出的。一开始胡乱弄搞出了一个这样子的bug: RuntimeError: multi-target not supported at在这里插入代码片 然后博主寻求百度，结果发现网上大部分人都只是在照搬例...
理解Pytorch里面nn.CrossEntropyLoss的含义
lang_yubo的博客
03-25 5050
理解Pytorch里面nn.CrossEntropyLoss的含义 先说nn.CrossEntropyLoss的参数，如果神经网络的输出output是一个(batch_size, num_class, h, w)的tensor(其中，num_class代表分类问题的类别数，h为图像高度，w为图像宽度)，则nn.CrossEntropyLoss需要的label形状为(batch_size, h, ...
loss_loss_如何读取loss值_损失函数_
10-01
损失函数的类型多种多样，如均方误差（Mean Squared Error, MSE）、交叉熵损失（Cross-Entropy Loss）、对数似然损失（Log-Likelihood Loss）等，每种函数都有其适用的场景。在训练模型时，损失函数通常用来计算每次...
2020年2月17日笔记–记录下每天学习的内容
01-06
车辆行人重识别 数据集介绍：VeRi-776数据集和VehicleID数据集。 代码： ...collection of dataset&paper&code on Vehicle Re-...resnet50+cross entropy loss+triplet loss 3、https://github.com/Zhongdao/VehicleReI
机器学习面试题答案1
08-04
损失函数通常选择对数似然损失（Logistic Loss），也称为交叉熵损失（Cross-Entropy Loss）。对于二分类问题，损失函数为 \( L = -\sum_{i=1}^{N} [y_i log(\hat{y}_i) + (1-y_i) log(1-\hat{y}_i)] \)，其中 \( N \...
keras中的loss、optimizer、metrics用法
09-16
例如，`loss='categorical_crossentropy'`代表使用交叉熵作为损失函数。 2. **优化器(optimizer)**: 优化器负责在训练过程中更新模型的权重，以最小化损失函数。Keras提供了多种优化算法的实现，如随机梯度下降...
加速深度学习任务：TensorFlow GPU 教程
最新发布
10-07
loss='sparse_categorical_crossentropy', metrics=['accuracy']) # 加载数据 (x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data() x_train, x_test = x_train / 255.0, x_test / 255.0...
山东大学人工智能导论实验1工程文件-numpy的基本操作
07-05
山东大学人工智能导论实验1工程文件-numpy的基本操作 详解博客地址：https://blog.csdn.net/m0_52316372/article/details/125625648 内容： 使用numpy实现深度学习任务中的一些基本操作，包括以下函数：  sigmoid function  sigmoid gradient function  softmax function  cross entropy loss function 目标：  熟悉numpy的一些基本函数  理解sigmoid, softmax, cross entropy loss等函数 代码要求：  按代码模板实现函数功能 文档要求：  代码运行结果截图(main函数里的内容不要修改)  sigmoid函数的公式及图像  sigmoid函数梯度求解公式及图像  softmax函数公式  cross entropy loss function公式  它们在神经网络中有什么用处？
交叉熵损失CrossEntropyLoss
Gefangenes的博客
06-03 1万+
这两种方法哪一个更好？
机器学习基础（六）—— 交叉熵代价函数（cross-entropy error）
bbbeoy的专栏
02-23 775
交叉熵代价函数1. 交叉熵理论交叉熵与熵相对，如同协方差与方差。熵考察的是单个的信息（分布）的期望：H(p)=−∑i=1np(xi)logp(xi)交叉熵考察的是两个的信息（分布）的期望： H(p,q)=−∑i=1np(xi)logq(xi)详见 wiki Cross entropyy = tf.placeholder(dtype=tf.float32, shape=[None, 10]) .....
【Pytorch基础】torch.nn.CrossEntropyLoss损失函数介绍
sxl的博客
05-10 1万+
目录1 交叉熵的定义2 交叉熵的数学原理3 Pytorch交叉熵实现3.1 举个栗子3.2 Pytorch实现3.3 F.cross_entropy参考文献 1 交叉熵的定义   交叉熵主要是用来判定实际的输出与期望的输出的接近程度，为什么这么说呢，举个例子：在做分类的训练的时候，如果一个样本属于第K类，那么这个类别所对应的的输出节点的输出值应该为1，而其他节点的输出都为0，即[0,0,1,0,….0,0]，这个数组也就是样本的Label，是神经网络最期望的输出结果。也就是说用它来衡量网络的输出与标签的差异
交叉熵损失函数（Cross Entropy Loss）
热门推荐
SongGu1996的博客
08-10 10万+
基础不牢，地动山摇，读研到现在有一年多了，发现自己对很多经常打交道的知识并不了解，仅仅是会改一改别人的代码，这使我感到非常焦虑，自此开始我的打基础之路。如果博客中有错误的地方，欢迎大家评论指出，我们互相监督，一起学习进步。 交叉熵损失函数（Cross Entropy Loss）在分类任务中出镜率很高，在代码中也很容易实现，调用一条命令就可以了，那交叉熵是什么东西呢？为什么它可以用来作为损失函数？...
Pytorch使用交叉熵损失函数CrossEntrophy一些需要注意的细节
weixin_43175007的博客
02-08 1543
Pytorch使用交叉熵损失函数CrossEntrophy一些需要注意的细节 CrossEntrophy（） 交叉熵损失函数，是一种在多分类任务，多标签学习中效果较好的损失函数。 criterion = nn.CrossEntropyLoss() ... # train ... for i, (features, length, label) in enumerate(train_loader): ... loss = criterion(pr
【tensorflow】交叉熵损失函数以及在Tensorflow的使用形式
敲代码的quant的博客
07-08 2103
交叉熵损失函数 tf.nn.softmax_cross_entropy_with_logits 形式： tf.nn.softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, dim=-1, name=None) 作用：计算labels和logits之间的交叉熵（cross entropy） tf.nn.sigmoid_cross_entropy_with_logits 形式： tf.nn.sigmoid_cros
pytorch的nn.CrossEntropyLoss()函数使用方法
Fighting Hua
05-21 1063
nn.CrossEntropyLoss()函数计算交叉熵损失 用法： # output是网络的输出，size=[batch_size, class]#如网络的batch size为128，数据分为10类，则size=[128, 10] # target是数据的真实标签，是标量，size=[batch_size]#如网络的batch size为128，则size=[128] crossentropyloss=nn...
CrossEntropyLoss的理解
iwill323的博客
08-13 1011
对pytorch交叉熵的理解
以 nn.CrossEntropyLoss 为损失函数，使用梯度下降方法训练该模型。 在训练过程中记录 训练损失、测试损失、训练分类正确率、测试分类正确率。
04-11
在使用 nn.CrossEntropyLoss 作为损失函数时，我们可以通过梯度下降方法来训练模型。在训练过程中，我们需要记录训练损失和测试损失，以及训练分类正确率和测试分类正确率，以评估模型的性能表现。需要注意的是，在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值