cross_entropy交叉熵、相对熵

最新推荐文章于 2025-02-25 17:04:10 发布
最新推荐文章于 2025-02-25 17:04:10 发布
阅读量203 收藏
点赞数 1
分类专栏： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zephyr_wang/article/details/102102098
版权
本文深入探讨了信息论中的三个核心概念——熵、相对熵（KL散度）和交叉熵。熵用于衡量信息的不确定性；相对熵用于衡量两个概率分布之间的差异；交叉熵在机器学习中作为损失函数，用于评估预测分布与真实分布之间的差距。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.熵用来表示所有信息量的期望。
2.相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x) 和 Q(x)，我们可以使用 KL 散度（Kullback-Leibler (KL) divergence）来衡量这两个分布的差异。
3.交叉熵：
相对熵=p的熵+交叉熵。
在机器学习中，我们需要评估label和predicts之间的差距，使用KL散度刚刚好。由于KL散度中的前一部分恰巧就是p的熵，p代表label或者叫groundtruth，故−H(p(x))不变，故在优化过程中，只需要关注交叉熵就可以了，所以一般在机器学习中直接用用交叉熵做loss，评估模型。

TensorFlow四种Cross Entropy算法实现和应用
CSDN 人工智能
12-01 1万+
作者：陈迪豪，就职于小米，负责企业深度学习平台搭建，参与过HBase、Docker、OpenStack等开源项目，目前专注于TensorFlow和Kubernetes社区。 原文：TensorFlow四种Cross Entropy算法实现和应用，作者授权CSDN转载。 欢迎技术投稿、约稿、给文章纠错，请发送邮件至heyc@csdn.net 交叉熵介绍交叉熵（Cross Entro...
交叉熵（Cross-Entropy）
热门推荐
rtygbwwwerr的专栏
03-03 20万+
交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设XX是一个离散型随机变量，其取值集合为X\mathcal{X}，概率分布函数为p(x)=Pr(X=x),x∈Xp(x)=Pr(X=x),x∈\mathcal{X}，我们定义事件X=x0X=x_0的信息量为： I(x0)=−log(p(x0))I(
【漫话机器学习系列】094.交叉熵（Cross-Entropy）
IT古董
02-16 1353
在机器学习和深度学习中，交叉熵（Cross-Entropy）是一种常见的损失函数，广泛用于分类任务，特别是二分类和多分类问题。交叉熵的核心思想是衡量两个概率分布之间的差异，并通过最小化这个差异来优化模型，使预测结果尽可能接近真实分布。掌握交叉熵的概念，对优化分类模型和理解概率分布的学习过程至关重要！
熵、交叉熵、相对熵（KL 散度）意义及其关系
GoodShot的专栏
04-22 548
机器学习中交叉熵和相对熵的关系
nyz5211314的博客
06-22 402
机器学习中交叉熵和相对熵的关系 首先需要了解几个概念 自信息： 描述单个事件的不确定性  I (x)=−log⁡[p(x)]\text { I }(x)=-\log [\boldsymbol{p}(\boldsymbol{x})] I (x)=−log[p(x)] 信息熵：描述整个事件的不确定性，事件越不确定，熵也就越大。即对自信息在事件上的概率分布求期望  H(P) =Ex∼p[I(x)]=−∑iNP(xi)log⁡P(xi)\text { H(
交叉熵代价函数（作用及公式推导）
Arthur-Chen的专栏
04-02 12万+
交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的输出值与实际值的一种方式。与二次代价函数（Quadratic cost function）相比，它能更有效地配合反向传播算法，促进ANN的训练。
交叉熵在机器学习中的使用，透彻理解交叉熵以及tf.nn.softmax_cross_entropy_with_logits的用法
qq_26449287的博客
10-09 507
关于交叉熵在loss函数中使用的理解 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够深入。遂花了几天的时间从头梳理了一下相关知识点，才算透彻的理解了，特地记录下来，以便日后查阅。 ...
Entropy（熵）、Cross_Entropy（交叉熵）、KL散度
zhang911007xing的博客
06-18 7318
1. 信息熵 （Entropy） 获得1 bit 的信息可以将不确定性减少一半（也可以说不确定性降低了2倍）。1 bit 的值可能为0或1. 例子： 假设天气情况完全随机，有晴天、雨天两种情况，则是晴天或雨天的概率各为0.5，0.5；那么只需要1 bit () 的信息就可以消除这个不确定性（用0代表晴天，1代表雨天，或者反过来也行）（此时，获取1bit信息，不确定性降低2倍也就是概率乘2，0.5*2=1，变成了确定事件，消除了不确定性） 假设天气情况完全随机，有4种情况，则是每种情况的概率各为0.2
TensorFlow-softmax_cross_entropy()、binary_cross_entropy()、sigmoid_cross_entropy()之间的区别与联系
小硕算法工程师
02-25 613
binary_cross_entropy是二分类的交叉熵，实际是多分类softmax_cross_entropy的一种特殊情况，当多分类中，类别只有两类时，即0或者1，即为二分类，二分类也是一个逻辑回归问题，也可以套用逻辑回归的损失函数。举个例子：假设一个5分类问题，然后一个样本I的标签y=[0,0,0,1,0]，也就是说样本I的真实标签是4，假设模型预测的结果概率（用 mnist 数据举例，如果是目标值是3，那么 label 就是[0，0，0，1，0，0，0，0，0，0]，除了第4个值为1，其他全为0。
一文读懂交叉熵（Cross-Entropy）和相对熵（Relative-Entropy）
Gransand的博客
02-27 1833
提到机器学习，就不得不提损失函数，提到损失函数，就不得不提交叉熵。 本文章将对这个概念进行详细的分析。 1、信息量 信息量是对事件发生概率的度量，一个事件发生的概率越低，则这个事件包含的信息量越大，这跟我们直观上的认知也是吻合的，越稀奇新闻包含的信息量越大，因为这种新闻出现的概率低。 对于随机变量 XXX，事件X=x0X=x_0X=x0​的信息量定义为： I(x0)=−log(p(x0)) I(x...
Cross-Entropy 交叉熵
不知道是谁的博客
03-24 769
先上公式，交叉熵定义 p(x) 是真正的概率分布, q(x) 是估计的概率分布. 这个评价准则是用来测量 q(x) 与 p(x)的相似程度. 在信息论里证明, 当q(x)=p(x)时, H(p,q) 达到最小值. 在 Tensorflow 中, 对于某一特定图像， p(x) 是 one-hot vector ([0 0 0 1 0 0 0]), q(x) 是 softmax 层的输出.
cross-entropy（交叉熵）
weixin_30853329的博客
09-05 121
熵其实是信息量的期望值，它是一个随机变量的确定性的度量。熵越大，变量的取值越不确定，反之就越确定 参考链接：https://blog.csdn.net/rtygbwwwerr/article/details/50778098 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设X是一个离散型随机变量，其取值集合为X，概率分布函数为p(...
cross entropy
Just Do IT
07-19 1142
出处：https://liusida.github.io/2016/11/25/cross-entropy/ Cross Entropy 的通俗意义 25 Nov 2016 cross_entropy 公式如下： CrossEntropy=−∑i(Li⋅log(Si))CrossEntropy=−∑i(Li⋅log⁡(Si)) 它描述的是可能性 S 到 L
交叉熵(cross_entropy)
zhongzhh8的博客
09-21 431
https://github.com/zhongzhh8/PaperReading/blob/master/%E4%BA%A4%E5%8F%89%E7%86%B5.md
pytorch中的cross_entropy函数
Q_M_X_D_D_的博客
10-14 1万+
cross_entropy函数是pytorch中计算交叉熵的函数。输入主要包括两部分，一个是维度为（batch_size，class）的向量，class表示分类的数量，这个就表示模型预测的分类结果；另一个是维度为（batch_size）的一维矩阵，表示每个样本的真实分类。输出的就是交叉熵的值。 交叉熵 交叉熵是常见的损失函数，公式如下： 其中y是真实分类，是通过softmax处理后的模型预测分类。在上面说了函数的输入分别是（batch_size，cl...
TensorFlow学习笔记（二十三）四种Cross Entropy交叉熵算法实现和应用
11-22 358
交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设是一个离散型随机变量，其取值集合为，概率分布函数为 p ( x ) = r ( = x ) , x ∈  ，我们定义事件 = x 0  的信息量为：  ( x 0 ) = − l o ( p ( x 0 ) )  ，可以理解为，一个事件发生的...
【深度学习实战（7）】搭建自己的交叉熵(cross_entropy)函数
m0_51579041的博客
04-16 1024
【深度学习实战（7）】搭建自己的交叉熵(cross_entropy)函数
关于cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits的思考
Amigo_1997的博客
03-29 392
今天在学习过程中产生了一个小疑问，现记录如下： 在利用TensorFlow搭建图像分类器中 cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits（）， 这个函数把交叉熵和softmax函数写在一起，是可以提高运算速度吗？还是仅仅把减少代码行数呢？ 我以前的做法是先用softmax求出需要被识别的物体在每个类别的概率，再计...
交叉熵和相对熵
最新发布
04-03
### 交叉熵与相对熵（KL散度）的定义 #### 定义 交叉熵是一种用于衡量真实分布 \( P \) 和预测分布 \( Q \) 差异的方式，在机器学习中常被用作损失函数。其公式可以表示为： \[ H(P, Q) = -\sum_{i=1}^{n} p(x_i)\log(q(x_i)) \] 其中，\( n \) 是事件的所有可能情况数[^2]。 相对熵也被称为 KL 散度，它同样用于衡量两个概率分布之间的差异，但更侧重于描述从分布 \( Q \) 到分布 \( P \) 的信息损耗程度。其公式为： \[ D_{KL}(P || Q) = \sum_{i=1}^{n} p(x_i)\log\left(\frac{p(x_i)}{q(x_i)}\right) \][^3] 需要注意的是，尽管两者都涉及概率分布间的比较，但在具体含义上存在显著不同。 --- ### 主要区别 | **特性** | **交叉熵** | **相对熵（KL散度）** | |------------------|-----------------------------------------------------------------------------------------------|-----------------------------------------------------------------------------------------------------| | **物理意义** | 表示编码来自分布 \( P \) 的数据所需的平均比特数，当使用基于分布 \( Q \) 构建的最佳码字长度时 | 描述了从分布 \( Q \) 转移到分布 \( P \) 所需的信息量变化 | | **对称性** | 不具有对称性 | 同样不具备对称性，即 \( D_{KL}(P || Q) \neq D_{KL}(Q || P) \)[^4] | | **适用场景** | 常作为分类任务中的目标函数 | 更多用于理论分析以及评估模型预测分布相对于实际分布的质量 | --- ### 应用场景 #### 交叉熵的应用 在监督学习尤其是分类问题中，交叉熵广泛应用于优化神经网络参数。例如在一个三分类问题中，如果样本的真实标签为 [1,0,0] （第一类），而模型输出的概率分布为 [0.7,0.2,0.1] ，则可以通过计算两者的交叉熵来量化误差并指导反向传播调整权重。 ```python import numpy as np def cross_entropy(p, q): return -np.sum([pi * np.log(qi) for pi, qi in zip(p, q)]) true_distribution = [1, 0, 0] predicted_distribution = [0.7, 0.2, 0.1] loss = cross_entropy(true_distribution, predicted_distribution) print(f"Cross Entropy Loss: {loss}") ``` #### 相对熵（KL散度）的应用 虽然 KL 散度本身不对称且不完全适合作为目标函数直接最小化，但它仍然在许多领域发挥重要作用。例如变分推断方法中利用 KL 散度约束近似后验分布靠近真实后验分布；或者通过对比不同生成对抗网络(GANs)架构下的特征空间分布差异来进行性能评价等。 --- ### 总结 综上所述，交叉熵主要关注如何高效表达某个特定消息所需资源数量的变化趋势，适合解决实际工程问题；而相对熵更多体现了一种理论上的距离概念，有助于深入理解复杂系统的内部机制及其相互作用规律。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI强仔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值