深度学习基础知识干货 | Cross-Entropy Loss(多分类损失函数)

已于 2024-05-30 14:45:18 修改
阅读量2k 收藏 11
点赞数 7
分类专栏： 深度学习基础知识 文章标签： 分类 人工智能 交叉熵损失函数
于 2023-11-01 11:24:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45842681/article/details/134157457
版权
本文围绕深度学习基础知识和多模态大模型展开，介绍了GroundingDINO、DETR、CLIP、EVA-CLIP等技术，涵盖了loss函数、卷积优化、微调等内容，帮助读者全面理解这些领域的最新进展。
摘要由CSDN通过智能技术生成

🐧大模型系列篇章

💖 多模态大模型 🔎 GroundingDINO 论文总结
💖 端到端目标检测 🔎 从DETR 到 GroundingDINO 🔥
💖 多模态大模型 👉 CLIP论文总结
💖 多模态大模型 👉 EVA-CLIP
💚 生成模型 👉 从 VAE 到 Diffusion Model （上）
💚 生成模型 👉 从 VAE 到 Diffusion Model （下）🔥
💧 天气大模型

🐧深度学习基础知识篇

💖 深度学习基础知识干货 🔎 Batch Normalization 批量归一化
💖 深度学习基础知识干货 🔎 卷积模型的Memory, Params, Flop是如何计算的?
💖 深度学习基础知识干货 🔎 Cross-Entropy Loss 多分类损失函数
💖 深度学习基础知识干货 🔎 Videos 动作检测
💖 深度学习基础知识干货 🔎 目标检测(Object Detection): 你需要知道的一些概念
💖 深度学习基础知识干货 🔎 微调（fine-tuning）和泛化（generalization）
💖 深度学习基础知识干货 🔎 Group Convolution / Depthwise Convolution 轻量模型的必有的卷积
💖 深度学习基础知识干货 🔎 Gradient checkpointing
💖 深度学习基础知识干货 🔎 Softmax中温度（temperature）参数
💖 深度学习基础知识干货 🔎 什么是few-shot learning

欢迎订阅专栏，第一时间掌握最新科技
大模型系列篇章 专栏链接
深度学习基础知识 专栏链接

文章目录

1. 网络输出output：score

在这里插入图片描述

2. Cross-Entropy Loss(多分类损失函数)

  • 先用softmax function把score 变成 probabilities。
  • 再用交叉熵损失函数来进行Loss的计算
    在这里插入图片描述
???/cy
关注
专栏目录
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 27万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
干货| LeNet-5模型详解（附Python详细代码及注释）
中科院AI算法工程师的博客
12-17 9467
LeNet-5模型是Yann LeCun教授与1998年在论文Gradient-based learning applied to document recognition中提出的，它是第一个成功应用于数字识别问题的卷积神经网络。在MNIST数据集上，LeNet-5模型可以达到大约99.2%的正确率。 LeNet-5模型总共有7层，下图展示了LeNet-5模型的架构。 LeNet-5模型结构...
简单谈谈Cross Entropy Loss
热门推荐
时光杂货店
06-23 18万+
写在前面 分类问题和回归问题是监督学习的两大种类。 神经网络模型的效果及优化的目标是通过损失函数来定义的。 回归问题解决的是对具体数值的预测。比如房价预测、销量预测等都是回归问题。这些问题需要预测的不是一个事先定义好的类别，而是一个任意实数。解决回顾问题的神经网络一般只有一个输出节点，这个节点的输出值就是预测值。对于回归问题，常用的损失函数是均方误差( MSE，mean squared ...
损失函数：Cross Entropy Loss （交叉熵损失函数）
FriendshipTang的博客
04-17 6366
PyTorch、人工智能、损失函数、交叉熵、Softmax
【Pytorch】大语言模型中的CrossEntropyLoss
最新发布
qq_52852138的博客
09-20 1136
从大语言模型的训练角度理解CrossEntropyLoss
Cross Entropy Loss
qq_41872630的博客
01-28 256
推荐这篇博文：https://blog.csdn.net/xg123321123/article/details/80781611
交叉熵损失（Cross-Entropy loss）
斑驳的岁月
12-21 3710
在处理机器学习或深度学习问题时，损失/成本函数用于在训练期间优化模型。目标几乎总是最小化损失函数。损失越低，模型越好。交叉熵损失是最重要的成本函数。它用于优化分类。对交叉熵的理解取决于对 Softmax 激活函数的理解。
交叉熵损失CrossEntropyLoss
Gefangenes的博客
06-03 1万+
这两种方法哪一个更好？
CVPR 2019 | 微软亚研院提出用于语义分割的结构化知识蒸馏
我爱计算机视觉
03-12 362
点击我爱计算机视觉标星，更快获取CVML新技术今天跟大家分享一篇关于语义分割的论文，刚刚上传到arXiv的CVPR 2019接收论文《Structured Knowledge Disti...
NAACL 2021 | QA-GNN：基于语言模型和知识图谱的问答推理
Paper weekly
04-27 2281
©PaperWeekly 原创 ·作者｜刘兴贤学校｜北京邮电大学硕士生研究方向｜自然语言处理论文标题：QA-GNN: Reasoning with Language Models and...
NeurIPS 2019 | 用于弱监督图像语义分割的新型损失函数
Paper weekly
10-08 1883
作者丨赵磊学校丨北京林业大学硕士生研究方向丨语义分割本文已经被 NeurIPS 2019 (2019 Conference and Workshop on Neural ...
损失函数——交叉熵损失函数（CrossEntropy Loss）
weixin_45665708的博客
12-16 10万+
损失函数——交叉熵损失函数（CrossEntropy Loss） 交叉熵函数为在处理分类问题中常用的一种损失函数，其具体公式为： 1.交叉熵损失函数由来 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。首先我们来了解几个概念。 1.1信息量 信息论奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “六
【损失函数】Cross Entropy Loss 交叉熵损失
Next_SummerAgain的博客
01-03 717
对于分类问题，最常用的损失函数是交叉熵损失函数 Cross Entropy Loss。它用于测量两个概率分布之间的差异，通常用于评估分类模型的性能。
损失函数——交叉熵损失（Cross-entropy loss）
weixin_50752408的博客
03-15 2万+
对于每个类别i，yi​表示真实标签x属于第i个类别的概率，y^​i​表示模型预测x属于第i个类别的概率。对于每个输入数据x，我们定义一个C维的向量y^​，其中y^​i​表示x属于第i个类别的概率。假设真实标签y是一个C维的向量，其中只有一个元素为1，其余元素为0，表示x属于第k个类别。该函数将输入数据视为模型输出的概率分布，将目标标签视为类别索引，并计算这些概率与实际标签之间的交叉熵损失。其中，xi​表示真实标签的第i个元素，y​i​表示模型预测x属于第i个类别的概率。清空梯度，计算模型输出和损失，使用。
交叉熵损失函数（Cross Entropy Loss）
SongGu1996的博客
08-10 12万+
基础不牢，地动山摇，读研到现在有一年多了，发现自己对很多经常打交道的知识并不了解，仅仅是会改一改别人的代码，这使我感到非常焦虑，自此开始我的打基础之路。如果博客中有错误的地方，欢迎大家评论指出，我们互相监督，一起学习进步。 交叉熵损失函数（Cross Entropy Loss）在分类任务中出镜率很高，在代码中也很容易实现，调用一条命令就可以了，那交叉熵是什么东西呢？为什么它可以用来作为损失函数？...
CrossEntropyLoss
qq_43586192的博客
04-03 397
代码：torch.nn.CrossEntropyLoss() 定义：loss_cross = torch.nn.CrossEntropyLoss() 使用：loss = loss_cross(out, y) 参数解释： **out:**网络输出的结果，且该结果经过了sigmoid,形状为【N,class_num】 y::
Cross Entropy (Loss)
maxzcl的博客
05-08 850
Cross Entropy https://en.wikipedia.org/wiki/Cross_entropy Cross Entropy Loss https://towardsdatascience.com/cross-entropy-loss-function-f38c4ec8643e A Gentle Introduction to Cross-Entropy for Machine Learning
【深度学习】Cross Entropy Loss
麒麒哈尔的博客
04-14 6126
文章目录起因Cross Entropy Loss的由来Tensorflow中的CEPytorch中的CEPytorch中CE和BCE的区别Pytorch对真正CE的支持 Cross Entropy Loss (CE)被经常用在分类问题中，但之前也没仔细了解过其中一些细节。本博客主要针对Pytorch中对CE的支持，但也结合了对TensorFlow中的CE的支持。 其中本博客参考总结了大量其他博客的...
交叉熵损失（Cross-Entropy Loss）
weixin_43368992的博客
03-24 614
在实际应用中，交叉熵损失通常与softmax函数结合使用，softmax函数可以将模型的原始输出（logits）转换为概率分布。对于正确的类别，当模型的预测概率越接近1时，损失越小；y：真实标签的概率分布，通常为一个独热编码向量，表示正确的类别位置为1，其余位置为0。对于错误的类别，当模型的预测概率越接近0时，损失越小；它鼓励模型对正确的类别有更高的预测概率，同时又对错误的类别有更低的预测概率。p：模型预测的概率分布，通常是模型输出层（如softmax层）的输出。Pi：预测概率向量中的第 i个元素。
交叉熵损失函数（Cross-Entropy Loss）
03-21
交叉熵损失函数（Cross-Entropy Loss）是一种常用的损失，特别适用分类问题。它衡量了模型的测结果与真实标签之间的差异。 在分类任务中，我们希望模型能够将输入数据正确地分类到各个类别中。交叉熵损失函数通过...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值