深度学习基础知识干货 | Cross-Entropy Loss(多分类损失函数)

已于 2024-05-30 14:45:18 修改
阅读量1.9k 收藏 11
点赞数 7
分类专栏： 深度学习基础知识 文章标签： 分类 人工智能 交叉熵损失函数
于 2023-11-01 11:24:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45842681/article/details/134157457
版权

🐧大模型系列篇章

💖 多模态大模型 🔎 GroundingDINO 论文总结
💖 端到端目标检测 🔎 从DETR 到 GroundingDINO 🔥
💖 多模态大模型 👉 CLIP论文总结
💖 多模态大模型 👉 EVA-CLIP
💚 生成模型 👉 从 VAE 到 Diffusion Model （上）
💚 生成模型 👉 从 VAE 到 Diffusion Model （下）🔥
💧 天气大模型

🐧深度学习基础知识篇

💖 深度学习基础知识干货 🔎 Batch Normalization 批量归一化
💖 深度学习基础知识干货 🔎 卷积模型的Memory, Params, Flop是如何计算的?
💖 深度学习基础知识干货 🔎 Cross-Entropy Loss 多分类损失函数
💖 深度学习基础知识干货 🔎 Videos 动作检测
💖 深度学习基础知识干货 🔎 目标检测(Object Detection): 你需要知道的一些概念
💖 深度学习基础知识干货 🔎 微调（fine-tuning）和泛化（generalization）
💖 深度学习基础知识干货 🔎 Group Convolution / Depthwise Convolution 轻量模型的必有的卷积
💖 深度学习基础知识干货 🔎 Gradient checkpointing
💖 深度学习基础知识干货 🔎 Softmax中温度（temperature）参数
💖 深度学习基础知识干货 🔎 什么是few-shot learning

欢迎订阅专栏，第一时间掌握最新科技
大模型系列篇章 专栏链接
深度学习基础知识 专栏链接

文章目录

1. 网络输出output：score

在这里插入图片描述

2. Cross-Entropy Loss(多分类损失函数)

  • 先用softmax function把score 变成 probabilities。
  • 再用交叉熵损失函数来进行Loss的计算
    在这里插入图片描述
???/cy
关注
专栏目录
Keras中的多分类损失函数用法categorical_crossentropy
09-16
本文主要讨论Keras中用于多分类任务的损失函数`categorical_crossentropy`，以及它与`binary_crossentropy`的区别和应用。 `categorical_crossentropy`是Keras中常用的损失函数，特别适用于处理多分类问题。在多...
交叉熵损失函数（Cross Entropy Loss）
热门推荐
SongGu1996的博客
08-10 11万+
基础不牢，地动山摇，读研到现在有一年多了，发现自己对很多经常打交道的知识并不了解，仅仅是会改一改别人的代码，这使我感到非常焦虑，自此开始我的打基础之路。如果博客中有错误的地方，欢迎大家评论指出，我们互相监督，一起学习进步。 交叉熵损失函数（Cross Entropy Loss）在分类任务中出镜率很高，在代码中也很容易实现，调用一条命令就可以了，那交叉熵是什么东西呢？为什么它可以用来作为损失函数？...
交叉熵损失函数（CrossEntropy Loss）（原理详解）
weixin_43786241的博客
10-19 2万+
        监督学习主要分为两类： 分类：目标变量是离散的，如判断一个西瓜是好瓜还是坏瓜，那么目标变量只能是1（好瓜）,0（坏瓜） 回归：目标变量是连续的，如预测西瓜的含糖率（0.00~1.00）         分类主要分为： 二分类：如判断一个西瓜是好瓜还是坏瓜 多分类：如判断一个西瓜的品种，如黑美人，特小凤，安农二号等         而交叉熵损失函数是分类中最常用的损失
交叉熵损失CrossEntropyLoss
Gefangenes的博客
06-03 1万+
这两种方法哪一个更好？
损失函数——交叉熵损失函数（CrossEntropy Loss）
weixin_45665708的博客
12-16 10万+
损失函数——交叉熵损失函数（CrossEntropy Loss） 交叉熵函数为在处理分类问题中常用的一种损失函数，其具体公式为： 1.交叉熵损失函数由来 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。首先我们来了解几个概念。 1.1信息量 信息论奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “六
Center-Loss-基于Pytorch实现Center-Loss损失函数-附项目源码.zip
最新发布
05-28
首先，让我们了解一下传统的损失函数，如交叉熵损失（Cross-Entropy Loss）。在多分类任务中，交叉熵损失通常被用作损失函数，它能够评估模型预测概率分布与真实类别标签之间的差异。然而，交叉熵损失仅仅关注样本...
A Ranking-Based Cross-Entropy Loss 阅读PPT
07-12
为了解决这个问题，一项发表在《IEEE Transactions on Neural Networks and Learning Systems》（SCI一区）的研究提出了一种基于Ranking的交叉熵损失（RCE，Ranking-based Cross-Entropy Loss）方法。RCE的目标是...
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
09-18
总结来说，`nn.CrossEntropyLoss()` 是 PyTorch 中用于多分类任务的损失函数，它结合了对数 softmax 和负对数似然损失，使得模型能够最小化预测类别与真实类别之间的差异。在训练过程中，通过优化这个损失函数，可以...
损失函数：Cross Entropy Loss （交叉熵损失函数）
FriendshipTang的博客
04-17 6222
PyTorch、人工智能、损失函数、交叉熵、Softmax
损失函数——交叉熵损失（Cross-entropy loss）
weixin_50752408的博客
03-15 2万+
对于每个类别i，yi​表示真实标签x属于第i个类别的概率，y^​i​表示模型预测x属于第i个类别的概率。对于每个输入数据x，我们定义一个C维的向量y^​，其中y^​i​表示x属于第i个类别的概率。假设真实标签y是一个C维的向量，其中只有一个元素为1，其余元素为0，表示x属于第k个类别。该函数将输入数据视为模型输出的概率分布，将目标标签视为类别索引，并计算这些概率与实际标签之间的交叉熵损失。其中，xi​表示真实标签的第i个元素，y​i​表示模型预测x属于第i个类别的概率。清空梯度，计算模型输出和损失，使用。
【损失函数】(四) CrossEntropyLoss原理 & pytorch代码解析
Lizhi_Tech的博客
08-02 1702
接下来就是CrossEntropyLoss了，在分类任务中经常用到。建议大家先看看上一篇NLLLoss的文章再来看这篇，会比较好理解。CrossEntropyLoss的计算公式如下：其中是每个类别的权重，默认的全为1，表示对应target那一类的概率。
交叉熵损失和二元交叉熵损失
飞机火车巴雷特的博客
04-10 2万+
交叉熵损失和二元交叉熵损失的简单讨论
语义分割中的 loss function 最全面汇总
zandaoguang的博客
05-24 1148
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨程序员阿德@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/101773544编辑丨极市平台导读本文总结了语义分割中的5个损失函数，详细介绍每个损失函数的使用场景以及特点。目录：cross entropy lossweighted lossfocal lossdice...
【深度学习】损失函数（1）：Cross-Entropy Loss 交叉熵损失（代价函数和损失函数的区别+交叉熵与KL散度、信息熵/熵之间的关系）
weixin_46564151的博客
03-23 837
优化我们的神经网络，使计算出的交叉熵最小，这就是交叉熵损失的基本思想
【PyTorch】深度学习实践之 用Softmax和CrossEntroyLoss解决多分类问题（Minst数据集）
zoetu
08-18 2592
用Softmax和CrossEntroyLoss解决多分类问题（Minst数据集）,kaggle赛题商品分类
深度学习中交叉熵损失函数（cross_entropy）和交叉熵损失层（CrossEntropyLoss()）的区别
AI_dataloads的博客
11-05 1311
选择使用哪种方法取决于您的需求和代码结构。如果您希望更加方便地构建深度学习模型并进行训练，通常会选择。如果您需要更大的灵活性或在特殊情况下手动处理损失，那么可能更适合。
交叉熵损失（Cross-Entropy loss）
斑驳的岁月
12-21 3102
在处理机器学习或深度学习问题时，损失/成本函数用于在训练期间优化模型。目标几乎总是最小化损失函数。损失越低，模型越好。交叉熵损失是最重要的成本函数。它用于优化分类。对交叉熵的理解取决于对 Softmax 激活函数的理解。
关于nn.CrossEntropyLoss交叉熵损失中weight和ignore_index参数
Henry的博客
04-13 7170
因为，label = 1有一个，label = 0 有两个，所以1的样本较少，这里就对label = 1设置权重大点。所以，loss = -(ln0.69+ln0.3543+ln0.5987)/3 = -（ln0.1464） / 3 = 0.6406。所以，在样本不均衡的情况下，加label少的样本，w加大，可以将loss变大，从而梯度下降的时候可以更好的弥补样本不平衡的问题。可以发现，label 是 0 1 2 三类，这里将label = 2的忽略，并且对0 1 2施加的权重为 2 1 2。
交叉熵损失函数（Cross-Entropy Loss）
03-21
交叉熵损失函数（Cross-Entropy Loss）是一种常用的损失，特别适用分类问题。它衡量了模型的测结果与真实标签之间的差异。 在分类任务中，我们希望模型能够将输入数据正确地分类到各个类别中。交叉熵损失函数通过计算模型预测的概率分布与真实标签的概率分布之间的差异来度量模型的性能。 具体来说，对于每个样本，交叉熵损失函数首先将真实标签表示为一个one-hot编码的向量，其中对应真实类别的位置为1，其他位置为0。然后，将模型预测的概率分布与真实标签的one-hot向量进行对比，计算它们之间的交叉熵。 交叉熵损失函数可以用以下公式表示： L = -∑(y * log(y_hat)) 其中，y表示真实标签的one-hot向量，y_hat表示模型预测的概率分布。 通过最小化交叉熵损失函数，我们可以训练模型使其更准确地预测样本的类别。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值