cross_entropy交叉熵、相对熵

最新推荐文章于 2025-02-25 17:04:10 发布
最新推荐文章于 2025-02-25 17:04:10 发布
阅读量203 收藏
点赞数 1
分类专栏： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zephyr_wang/article/details/102102098
版权
本文深入探讨了信息论中的三个核心概念——熵、相对熵（KL散度）和交叉熵。熵用于衡量信息的不确定性；相对熵用于衡量两个概率分布之间的差异；交叉熵在机器学习中作为损失函数，用于评估预测分布与真实分布之间的差距。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.熵用来表示所有信息量的期望。
2.相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x) 和 Q(x)，我们可以使用 KL 散度（Kullback-Leibler (KL) divergence）来衡量这两个分布的差异。
3.交叉熵：
相对熵=p的熵+交叉熵。
在机器学习中，我们需要评估label和predicts之间的差距，使用KL散度刚刚好。由于KL散度中的前一部分恰巧就是p的熵，p代表label或者叫groundtruth，故−H(p(x))不变，故在优化过程中，只需要关注交叉熵就可以了，所以一般在机器学习中直接用用交叉熵做loss，评估模型。

TensorFlow四种Cross Entropy算法实现和应用
CSDN 人工智能
12-01 1万+
作者：陈迪豪，就职于小米，负责企业深度学习平台搭建，参与过HBase、Docker、OpenStack等开源项目，目前专注于TensorFlow和Kubernetes社区。 原文：TensorFlow四种Cross Entropy算法实现和应用，作者授权CSDN转载。 欢迎技术投稿、约稿、给文章纠错，请发送邮件至heyc@csdn.net 交叉熵介绍交叉熵（Cross Entro...
交叉熵（Cross-Entropy）
热门推荐
rtygbwwwerr的专栏
03-03 20万+
交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设XX是一个离散型随机变量，其取值集合为X\mathcal{X}，概率分布函数为p(x)=Pr(X=x),x∈Xp(x)=Pr(X=x),x∈\mathcal{X}，我们定义事件X=x0X=x_0的信息量为： I(x0)=−log(p(x0))I(
【漫话机器学习系列】094.交叉熵（Cross-Entropy）
IT古董
02-16 1334
在机器学习和深度学习中，交叉熵（Cross-Entropy）是一种常见的损失函数，广泛用于分类任务，特别是二分类和多分类问题。交叉熵的核心思想是衡量两个概率分布之间的差异，并通过最小化这个差异来优化模型，使预测结果尽可能接近真实分布。掌握交叉熵的概念，对优化分类模型和理解概率分布的学习过程至关重要！
熵、交叉熵、相对熵（KL 散度）意义及其关系
GoodShot的专栏
04-22 548
机器学习中交叉熵和相对熵的关系
nyz5211314的博客
06-22 401
机器学习中交叉熵和相对熵的关系 首先需要了解几个概念 自信息： 描述单个事件的不确定性  I (x)=−log⁡[p(x)]\text { I }(x)=-\log [\boldsymbol{p}(\boldsymbol{x})] I (x)=−log[p(x)] 信息熵：描述整个事件的不确定性，事件越不确定，熵也就越大。即对自信息在事件上的概率分布求期望  H(P) =Ex∼p[I(x)]=−∑iNP(xi)log⁡P(xi)\text { H(
交叉熵代价函数（作用及公式推导）
Arthur-Chen的专栏
04-02 12万+
交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的输出值与实际值的一种方式。与二次代价函数（Quadratic cost function）相比，它能更有效地配合反向传播算法，促进ANN的训练。
交叉熵在机器学习中的使用，透彻理解交叉熵以及tf.nn.softmax_cross_entropy_with_logits的用法
qq_26449287的博客
10-09 507
关于交叉熵在loss函数中使用的理解 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够深入。遂花了几天的时间从头梳理了一下相关知识点，才算透彻的理解了，特地记录下来，以便日后查阅。 ...
Entropy（熵）、Cross_Entropy（交叉熵）、KL散度
zhang911007xing的博客
06-18 7318
1. 信息熵 （Entropy） 获得1 bit 的信息可以将不确定性减少一半（也可以说不确定性降低了2倍）。1 bit 的值可能为0或1. 例子： 假设天气情况完全随机，有晴天、雨天两种情况，则是晴天或雨天的概率各为0.5，0.5；那么只需要1 bit () 的信息就可以消除这个不确定性（用0代表晴天，1代表雨天，或者反过来也行）（此时，获取1bit信息，不确定性降低2倍也就是概率乘2，0.5*2=1，变成了确定事件，消除了不确定性） 假设天气情况完全随机，有4种情况，则是每种情况的概率各为0.2
TensorFlow-softmax_cross_entropy()、binary_cross_entropy()、sigmoid_cross_entropy()之间的区别与联系
最新发布
小硕算法工程师
02-25 613
binary_cross_entropy是二分类的交叉熵，实际是多分类softmax_cross_entropy的一种特殊情况，当多分类中，类别只有两类时，即0或者1，即为二分类，二分类也是一个逻辑回归问题，也可以套用逻辑回归的损失函数。举个例子：假设一个5分类问题，然后一个样本I的标签y=[0,0,0,1,0]，也就是说样本I的真实标签是4，假设模型预测的结果概率（用 mnist 数据举例，如果是目标值是3，那么 label 就是[0，0，0，1，0，0，0，0，0，0]，除了第4个值为1，其他全为0。
一文读懂交叉熵（Cross-Entropy）和相对熵（Relative-Entropy）
Gransand的博客
02-27 1833
提到机器学习，就不得不提损失函数，提到损失函数，就不得不提交叉熵。 本文章将对这个概念进行详细的分析。 1、信息量 信息量是对事件发生概率的度量，一个事件发生的概率越低，则这个事件包含的信息量越大，这跟我们直观上的认知也是吻合的，越稀奇新闻包含的信息量越大，因为这种新闻出现的概率低。 对于随机变量 XXX，事件X=x0X=x_0X=x0​的信息量定义为： I(x0)=−log(p(x0)) I(x...
Cross-Entropy 交叉熵
不知道是谁的博客
03-24 769
先上公式，交叉熵定义 p(x) 是真正的概率分布, q(x) 是估计的概率分布. 这个评价准则是用来测量 q(x) 与 p(x)的相似程度. 在信息论里证明, 当q(x)=p(x)时, H(p,q) 达到最小值. 在 Tensorflow 中, 对于某一特定图像， p(x) 是 one-hot vector ([0 0 0 1 0 0 0]), q(x) 是 softmax 层的输出.
cross-entropy（交叉熵）
weixin_30853329的博客
09-05 121
熵其实是信息量的期望值，它是一个随机变量的确定性的度量。熵越大，变量的取值越不确定，反之就越确定 参考链接：https://blog.csdn.net/rtygbwwwerr/article/details/50778098 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设X是一个离散型随机变量，其取值集合为X，概率分布函数为p(...
cross entropy
Just Do IT
07-19 1142
出处：https://liusida.github.io/2016/11/25/cross-entropy/ Cross Entropy 的通俗意义 25 Nov 2016 cross_entropy 公式如下： CrossEntropy=−∑i(Li⋅log(Si))CrossEntropy=−∑i(Li⋅log⁡(Si)) 它描述的是可能性 S 到 L
交叉熵(cross_entropy)
zhongzhh8的博客
09-21 431
https://github.com/zhongzhh8/PaperReading/blob/master/%E4%BA%A4%E5%8F%89%E7%86%B5.md
pytorch中的cross_entropy函数
Q_M_X_D_D_的博客
10-14 1万+
cross_entropy函数是pytorch中计算交叉熵的函数。输入主要包括两部分，一个是维度为（batch_size，class）的向量，class表示分类的数量，这个就表示模型预测的分类结果；另一个是维度为（batch_size）的一维矩阵，表示每个样本的真实分类。输出的就是交叉熵的值。 交叉熵 交叉熵是常见的损失函数，公式如下： 其中y是真实分类，是通过softmax处理后的模型预测分类。在上面说了函数的输入分别是（batch_size，cl...
TensorFlow学习笔记（二十三）四种Cross Entropy交叉熵算法实现和应用
11-22 358
交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设是一个离散型随机变量，其取值集合为，概率分布函数为 p ( x ) = r ( = x ) , x ∈  ，我们定义事件 = x 0  的信息量为：  ( x 0 ) = − l o ( p ( x 0 ) )  ，可以理解为，一个事件发生的...
【深度学习实战（7）】搭建自己的交叉熵(cross_entropy)函数
m0_51579041的博客
04-16 1023
【深度学习实战（7）】搭建自己的交叉熵(cross_entropy)函数
关于cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits的思考
Amigo_1997的博客
03-29 391
今天在学习过程中产生了一个小疑问，现记录如下： 在利用TensorFlow搭建图像分类器中 cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits（）， 这个函数把交叉熵和softmax函数写在一起，是可以提高运算速度吗？还是仅仅把减少代码行数呢？ 我以前的做法是先用softmax求出需要被识别的物体在每个类别的概率，再计...
相对熵也称为散度，交叉熵等。
06-11
是的，你说得对。相对熵也被称为KL散度（Kullback–Leibler divergence），用于比较两个概率分布之间的差异。交叉熵（cross-entropy）则是相对熵的一种特殊情况，当两个概率分布完全相同时，交叉熵为0。在机器学习中，交叉熵通常被用作损失函数，用于衡量模型输出结果与实际结果之间的差异。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI强仔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值