深度学习（一）：交叉熵损失函数，信息量，熵，KL散度

最新推荐文章于 2024-08-01 16:15:00 发布
最新推荐文章于 2024-08-01 16:15:00 发布
阅读量1.8k 收藏 9
点赞数 4
分类专栏： 深度学习 文章标签： 交叉熵 KL散度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40871455/article/details/89355324
版权
本文深入探讨了交叉熵损失函数的来源和意义，解释了信息量、熵的概念，并详细阐述了相对熵（KL散度）如何衡量概率分布差异。通过实例展示了在二分类问题中，如何利用交叉熵作为损失函数进行模型优化。
摘要由CSDN通过智能技术生成

交叉熵损失函数「Cross Entropy Loss」，我们第一印象就是它如下的公式：

大多数情况下都是直接拿来使用就好，但是它是怎么来的？为什么它能表征真实样本标签和预测概率之间的差值？交叉熵函数是否有其它变种？

信息量

事件A：巴西队进入了2018世界杯决赛圈。 
事件B：中国队进入了2018世界杯决赛圈。 

直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关。

设X是一个离散型随机变量，X=x0的信息量为：

根据log函数曲线，我们可知，概率越大，信息量越小

熵

熵（entropy）表示随机变量不确定性的度量，熵就是用来表示信息量的期望：

<
最低0.47元/天 解锁文章
Chihk-Anchor
关注
专栏目录
解剖交叉熵损失函数
Bluenapa的博客
04-01 669
交叉熵损失函数（Cross Entropy loss function）,主要为了度量两个概率之间的差异性。 信息 香农（shannon）曰：信息是用来消除随机不确定性的。 “太阳从东边升起”，这条信息并没有减少不确定性，因为太阳肯定是从东边升起的，这是一句废话，信息量为0。 ”2018年中国队成功进入世界杯“，从直觉上来看，这句话具有很大的信息量。因为中国队进入世界杯的不确定性因素很大，而...
损失函数：Cross Entropy Loss （交叉熵损失函数）
FriendshipTang的博客
04-17 6099
PyTorch、人工智能、损失函数、交叉熵、Softmax
人工智能深度学习系列—深度解析：交叉熵损失（Cross-Entropy Loss）在分类问题中的应用
最新发布
u013889591的专栏
08-01 788
在深度学习中，分类问题无处不在，从图像识别到自然语言处理。交叉熵损失（Cross-Entropy Loss）作为解决分类问题的核心损失函数之一，对于模型的性能有着决定性的影响。本文将详细介绍交叉熵损失的背景、计算方法、使用场景、代码实现及总结。交叉熵损失源于信息论，用于衡量两个概率分布之间的差异。在机器学习中，它被广泛应用于分类问题，尤其是多分类问题，通过计算模型输出的概率分布与真实标签的概率分布之间的差异，引导模型学习正确的分类边界。交叉熵损失是深度学习中处理分类问题不可或缺的工具。
交叉熵损失函数（Cross-Entropy Loss Function）
orDream的博客
11-29 7887
在处理机器学习或深度学习问题时，损失/成本函数用于在训练期间优化模型。目标几乎总是最小化损失函数。损失越低，模型越好。交叉熵损失是最重要的成本函数。它用于优化分类模型。对交叉熵的理解取决于对 Softmax 激活函数的理解。我在下面写了另一篇文章来涵盖这个先决条件考虑一个4类分类任务，其中图像被分类为狗、猫、马或猎豹。上图中，Softmax 将 logits 转换为概率。交叉熵的目的是获取输出概率（P）并测量与真值的距离（如下图所示）。对于上面的示例，类dog的所需输出是[1,0,0,0]
损失函数——交叉熵损失函数（CrossEntropy Loss）
热门推荐
weixin_45665708的博客
12-16 10万+
损失函数——交叉熵损失函数（CrossEntropy Loss） 交叉熵函数为在处理分类问题中常用的一种损失函数，其具体公式为： 1.交叉熵损失函数由来 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。首先我们来了解几个概念。 1.1信息量 信息论奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “六
交叉熵损失函数--轻松了解
AI_dataloads的博客
09-18 6178
假设第一个输出神经元是猫，第二个是小狗，第三个是小鸟如果传入猫照片，猫的神经元输出数值相比其他越大，计算的损失值会越小，也表明越靠近真实结果。如果训练时，类别分错了，则会出现大的。
machine learning学习笔记（一）：信息熵，条件熵，交叉熵，KL散度，互信息
m0_37754282的博客
10-02 904
琴生不等式 Jensen 由数学归纳法证明 对损失函数 Logarithmic function entropy 信息熵 log底数一般为2.信息熵代表着X不确定程度。
深度学习损失函数：交叉熵cross entropy与focal loss
一江明澈的水的专栏
02-13 1万+
前面 本文主要做两件事情： 1.交叉熵原理 2.引出focal loss原理 其中，交叉熵这里：https://blog.csdn.net/tsyccnh/article/details/79163834 这篇博文写的很详细，很明白，但博士没有总结，我在这里按自己理解重新总结了下，看不太明白的读者建议直接看原文会明白很多。focal的几篇参考： 论文链接：https://arxiv.o...
分类问题损失函数 – 交叉熵
01-06
信息熵： 表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。熵越大，随机变量或系统的不确定性就越大。公式如下： 相对熵： 又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)和q(x)...
caffe 加权交叉熵损失函数 SigmoidCrossEntropyLoss
12-24
论文中"Holistically-Nested Edge Detection"使用的加权损失函数，具体用法见博客http://blog.csdn.net/majinlei121/article/details/78884531
损失函数 - 交叉熵损失函数
comeonow的博客
11-23 975
Cross Entropy Error Function（交叉熵损失函数） 例子 表达式 函数性质 学习过程 优缺点 这篇文章中，讨论的Cross Entropy损失函数常用于分类问题中，但是为什么它会在分类问题中这么有效呢？我们先从一个简单的分类例子来入手。 1. 预测政治倾向例子 我们希望根据一个人的年龄、性别、年收入等相互独立的特征，来预测一个人的政治倾向，有三种可预测结果：民...
Cross Entropy Error Function（交叉熵损失函数）
上善若水
06-12 1821
Cross Entropy Error Function（交叉熵损失函数）例子表达式函数性质学习过程优缺点这篇文章中，讨论的Cross Entropy损失函数常用于分类问题中，但是为什么它会在分类问题中这么有效呢？我们先从一个简单的分类例子来入手。1. 预测政治倾向例子我们希望根据一个人的年龄、性别、年收入等相互独立的特征，来预测一个人的政治倾向，有三种可预测结果：民主党、共和党、其他党。假设我们当前有两个逻辑回归模型（参数不同），这两个模型都是通过sigmoid的方式得到对于每个预测结果的概率值：模型1：
机器学习 [交叉熵损失函数]
gukedream的专栏
01-20 1171
表达式 二分类 在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别我们的预测得到的概率为p和1-p。此时表达式为： 其中： y——表示样本的label，正类为1，负类为0 p——表示样本预测为正的概率 多分类 多分类的情况实际上就是对二分类的扩展： 其中： M——类别的数量； y——指示变量（0或1）,如果该类别和样本的类别相同就是1，否则是0； p——对...
理解交叉熵损失函数
hong615771420的博客
12-08 754
在这里汇总几个链接供自己和大家参考，都写的很好。 https://blog.csdn.net/tsyccnh/article/details/79163834 https://www.zhihu.com/question/65288314/answer/244557337
损失函数--KL散度与交叉熵
Ambrosedream的博客
12-04 5530
损失函数 ​ 在逻辑回归建立过程中，我们需要一个关于模型参数的可导函数，并且它能够以某种方式衡量模型的效果。这种函数称为损失函数（loss function)。 ​ 损失函数越小，则模型的预测效果越优。所以我们可以把训练模型问题转化为最小化损失函数的问题。 ​ 损失函数有多种，此次介绍分类问题最常用的交叉熵（cross entropy)损失,并从信息论和贝叶斯两种视角阐释交叉熵损失的内涵。 ...
一文读懂交叉熵损失函数
m0_57569438的博客
04-08 2万+
进行二分类或多分类问题时，在众多损失函数中交叉熵损失函数较为常用。 下面的内容将以这三个问题来展开 写目录标题什么是交叉熵损失以图片分类问题为例，理解交叉熵损失函数从0开始实现交叉熵损失函数 什么是交叉熵损失 以图片分类问题为例，理解交叉熵损失函数 从0开始实现交叉熵损失函数 1，什么是交叉熵损失 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性 p(x)表示样本的真实分布，q(x)表示模型所预测的分布 交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实
SoftMax函数，交叉熵损失函数与熵，对数似然函数
qq_38469553的博客
11-08 1万+
深度学习以及机器学习中都会用到SoftMax函数，交叉熵损失函数与熵，对数似然函数等一些数学方面的知识，此文作为个人学习笔记。 1.softmax函数 （1）定义 多分类问题中，我们可以使用SoftMax函数，对输出的值归一化为概率值，映射到（0，1）区间。 这里假设在进入softmax函数之前，已经有模型输出C值，其中C是要预测的类别数，模型可以是全连接网络的输出a，其输出个数为C，即输...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值