如何理解交叉熵恒大于或等于0？

最新推荐文章于 2023-05-18 19:08:38 发布
最新推荐文章于 2023-05-18 19:08:38 发布
阅读量2.3k 收藏 3
点赞数 2
分类专栏： 信息熵 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38846606/article/details/111929038
版权

如何理解交叉熵恒大于或等于0？

看了很多博客，我发现它们都基本上是以一个定义的形式，直接告诉我们（或者不提及）交叉熵它是恒大于等于0的，没有解释为什么。

可参考的部分优质博客

如果想要了解什么是熵及变形总结，可以参考博客：机器学习笔记十：各种熵总结,里面讲的非常详细。
这里要说的是交叉熵为什么恒大于等于0

如果数学功底好的，可以参考PRML书中公式（1.118）KL散度恒大于等于 0的推导，它同样可以解释交叉熵。
如果你英文好可以直接参考视频【 深度学习 】熵，交叉熵，KL散度 Entropy, Cross-Entropy and KL-Divergence（英文），里面对熵等内容讲解的也很详细。

我对交叉熵恒大于等于0的理解

这里我们首先要知道，交叉熵通常被用来解决分类问题

交叉熵公式：
H ( p , q ) = − ∑ x p ( x ) log ⁡ q ( x )   . \Eta(p,q) = -\sum_x p(x) \log q(x)\,. H(p,q)=−x∑​p(x)logq(x).

其中p(x)为真实概率分布，q(x)为预测概率分布
以二分类为例，x为正类时p(x)值为1，则
H ( p , q ) = − 1 ∗ log ⁡ q ( x ) − 0 ∗ log ⁡ q ( x ) = − log ⁡ q ( x )   . \Eta(p,q) = - 1* \log q(x)-0* \log q(x)=- \log q(x)\,. H(p,q)=−1∗logq(x)−0∗logq(x)=−logq(x).
我们知道q(x)为预测概率分布
0 ≤ q ( x ) ≤ 1   . 0\leq q(x)\leq 1\,. 0≤q(x)≤1.
所以
H ( p , q ) ≥ 0   . \Eta(p,q) \ge 0\,. H(p,q)≥0.

最后分享两个LaTex公式符号对照博客
LaTeX各种符号
Latex之希腊字母表 花体字母 实数集

小粽子~
关注
专栏目录
交叉熵的理解
qq_40824311的博客
11-29 365
晚上看论文，本来在查表示定理相关的内容，结果莫名其妙地绕到了交叉熵上面来了，之前一直对这个概念一知半解的，看了一些知乎上的讲解，然后做个总结。 信息熵 在讲交叉熵之前先讲一下信息熵，信息熵的公式如下： H(X)=−∑i=1np(xi)logp(xi)H(X)=-\sum_{i=1}^{n}p(x_{i})log p(x_{i})H(X)=−∑i=1n​p(xi​)logp(xi​) 可以把−log...
交叉熵误差（cross entropy error)
布鲁克林有一棵树
03-01 9929
熵真是一个神奇的东西，据说之所以把它命名为熵就是因为它难以理解 但是它确实是一个很有用的西东，光机器学习里面，就经常见到它的身影，决策树要用到它，神经网络和logistic回归也用到了它。 先说熵的定义： 熵定义为信息的期望，某个待分类事物可以划分为多个类别，其中类别的信息为(为的概率)： 熵为所有类别的信息期望值： 交叉熵误差： 为实际的分类结果，为预测的结果，（并且...
交叉熵
给永远比拿愉快
04-12 1563
上一篇译文《香农熵》中介绍了熵的由来及其计算公式的产生，这篇译文介绍另外一个与香农熵相关的概念：交叉熵（Cross-Entropy） 注：可能文中对一些专有名词的翻译不够精确，所以有的名词后面注解了其对应的原始英文单词 原文：A Friendly Introduction to Cross-Entropy Loss 简介（Introduction） 当我们要建立一个基于概率论的分类模型...
交叉熵损失函数
流光的博客
06-10 453
随机变量x的取值集合X={x1,x2,x3} 概率分布P(x) P(x1)=0.2 P(x2)=0.3 P(x3)=0.5 信息量 信息量是指信息多少的量度，概率越大信息量越少，概率越小信息越大。 I(x1)=-log(P(x1))=2.32 I(x2)=-log(P(x2))=1.73 I(x3)=-log(P(x3))=1 概率与信息量关系曲线 熵 表示信息量的期望。 H(x)=-∑P(x)log(P(x))=0.2*2.32 + 0.3*1.73 + 0.5*1=1.4.
ML-逻辑回归-Softmax-交叉熵（小航）
小航哥的博客
02-27 516
在分类问题中， 交叉熵的本质就是【对数】似然函数的最大化 逻辑回归的损失函数的本质就是【对数】似然函数的最大化 最大似然估计讲解：https://www.jianshu.com/p/191c029ad369 参考统计学习方法笔记 P79 softmax 通过Softmax回归，将logistic的预测二分类的概率的问题推广到了n分类的概率的问题。通过公式 softmax...
交叉熵在同分布下最小证明
qq_43608884的博客
05-22 1243
相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量。 定义 设是随机变量上的两个概率分布，则在离散和连续随机变量的情形下，相对熵的定义分别为 ： ...
TensorFlow学习记录：交叉熵损失函数和Softmax函数
weixin_41137655的博客
09-07 1294
1.交叉熵函数 在解决深度学习领域的一些问题时，交叉熵用于刻画两个概率分布向量之间的距离，是分类问题中使用比较广泛的一种损失函数。假设有两个概率分布值P和Q是等长的两个向量，可以使用以下公式来计算二者之间的交叉熵值： H(P,Q)=−∑xP(x)logQ(x)H(P,Q)=-\sum_{x}P(x)logQ(x)H(P,Q)=−∑x​P(x)logQ(x) 因为可以将交叉熵理解为描述了概率分布Q对...
Loss(一)-2010：Softmax Loss（Softmax激活函数 + “交叉熵损失函数”）【样本3真实标签为C₅，则样本3的损失：loss³=-log(ŷ₅³)，ŷ₅表示预测为5的概率值】
u013250861的博客
08-18 489
一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。例如我们的输入是 (x1,x2,x3,x4)=(1,2,3,4)(x_1,x_2,x_3,x_4)=(1,2,3,4)(x1​,x2​,x3​,x4​)=(1,2,3,4), 那么，Softmax就是对每个元素进行如下的操作： 打印结果： 1.2 对普通输入进行LogSoftmax LogSoftmax就是对Softmax处理后的每个元素计算 logloglog 或 lnlnln 值： 打印结果： 2、对神经网络的输出进行Sof
卷积神经网络系列之softmax，softmax loss和cross entropy的讲解
热门推荐
AI之路
08-17 18万+
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对这些层具体是怎么实现的了解吗？你对softmax，softmax loss，cross entropy了解吗？相信很多人不一定清楚。虽然网上的资料很多，但是...
torch.nn.CrossEntropyLoss返回值为0
foucs_on的博客
05-18 1176
交叉熵损失函数返回为0
简单的交叉熵损失函数，你真的懂了吗？
weixin_33738578的博客
06-19 5952
红色石头的个人网站：redstonewill.com 说起交叉熵损失函数「Cross Entropy Loss」，脑海中立马浮现出它的公式： 我们已经对这个交叉熵函数非常熟悉，大多数情况下都是直接拿来使用就好。但是它是怎么来的？为什么它能表征真实样本标签和预测概率之间的差值？上面的交叉熵函数是否有其它变种？也许很多朋友还不是很清楚！没关系，接下来我将尽可能以最通俗的语言回答上面这几个问题。 ...
损失函数——交叉熵损失（Cross-entropy loss）
weixin_50752408的博客
03-15 2万+
对于每个类别i，yi​表示真实标签x属于第i个类别的概率，y^​i​表示模型预测x属于第i个类别的概率。对于每个输入数据x，我们定义一个C维的向量y^​，其中y^​i​表示x属于第i个类别的概率。假设真实标签y是一个C维的向量，其中只有一个元素为1，其余元素为0，表示x属于第k个类别。该函数将输入数据视为模型输出的概率分布，将目标标签视为类别索引，并计算这些概率与实际标签之间的交叉熵损失。其中，xi​表示真实标签的第i个元素，y​i​表示模型预测x属于第i个类别的概率。清空梯度，计算模型输出和损失，使用。
KL散度和交叉熵
但行好事，莫问前程
12-10 2879
在学习机器学习的过程中，我们经常会碰到这两个概念：KL散度（kl divergence）以及交叉熵，并且经常是同时出现的。很多同学对这两个概念都理解的不是很透彻，造成经常会搞混他们两者。本文最主要的目的就是带大家深入理解这两个重要的概念，同时搞懂，区别的理解他们，保证以后不会再搞混它们。 如果你学过信息论，区分两者就更加容易： KL散度就是相对熵， 参考资料 ...
熵的终极介绍
fgxeiwuxfwi的博客
08-19 2038
熵增定律 ​ 熵增定律是克劳修斯提出的热力学定律，克劳修斯引入了熵的概念来描述这种不可逆过程，即热量从高温物体流向低温物体是不可逆的，其物理表达式为：S =∫dQ/T或ds = dQ/T。 ​
机器学习中的损失函数(均方误差，交叉熵误差)及其python实现
wulimmya的博客
08-08 8683
神经网络NN以某个指标为线索寻找最优参数，NN的学习中用的指标被称为损失函数，它是表示NN性能的指标，即NN对训练数据在多大程度上不拟合，不一致。 很多函数都可以作为损失函数loss function，但常用的是均方误差和交叉熵误差等。 一、均方误差Mean Squared Error E=12∑k(yk−tk)2E=\frac12\sum_{k}(y_k-t_k)^2E=21​k∑​(yk​−t...
交叉熵损失（cross entropy）
hyh14的博客
11-14 1044
其中，p，q分别表示数据标签的真实分布和预测出的分布，也就是p（yi|xi）表示样本xi的真实分布。具体一点，样本xi是属于某个类别ck，那么，p(yi=ci|xi)=1,其他都为0.类比，q（y^i|xi）表示样本xi在各个类别上的概率分布，此时，预测的概率处于【0,1】之间，当然y^i跑遍所有类别后，和为1.yi属于{0,1}，那么样本xi属于类别1的概率为：q（yi=1|xi），样本xi属于0的概率为：1-q（yi=1|xi）这样，本质上就变成了，
关于相对熵的推导证明和推论
DeepRoad
03-11 3064
相对熵可以衡量两个分布之间的不相似性，即 P 和 Q 两个分布越相似，相对熵越小，否则越大。 相对熵的公式是 DKL(P∣∣Q)=∑ipilog⁡piqiD_{KL}(\mathrm{P} || \mathrm{Q}) = \sum_{i} p_i \log{\frac{p_i}{q_i}}DKL​(P∣∣Q)=i∑​pi​logqi​pi​​ 显然，当 P 和 Q 的分布完全相同时，log 里就...
首先，我们可以求出该函数的二阶导数为：y3''=1.3*sec(x)*tan(x)。 当x在-1到1之间时，sec(x)>0，tan(x)>0，因此y3''>0，即二阶导数恒大于0。由此可知，该函数在区间[-1,1]上是凸函数，因此是外凸的。你的这个分析不对吧，保证外凸的条件是二阶导数始终小于0或等于0不是吗？
最新发布
06-10
非常抱歉，您是正确的。我混淆了外凸和内凸的定义。对于外凸函数，其二阶导数小于或等于0，对于内凸函数，其二阶导数大于或等于0。因此，对于给定的函数y3=1+1.3*(sec(x)-1)，其二阶导数为y3''=1.3*sec(x)*tan(x)，当x在-1到1之间时，sec(x)>0，tan(x)>0，因此y3''>0，即二阶导数恒大于0。由此可知，该函数在区间[-1,1]上是内凸函数，不是外凸的。非常感谢您指出我的错误。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值