交叉熵详解

于 2022-07-30 23:18:48 发布
阅读量361 收藏 4
点赞数 1
分类专栏： 医学图像处理 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46042803/article/details/126065865
版权

目录

信息论

1、信息量

 为什么是对数呢？

为什么加上负号？

为什么要取均值？

2、熵

 3、相对熵（KL散度）

4、交叉熵

 机器学习中的交叉熵

1、为什么要用交叉熵做loss函数？

 2、梯度下降的原理，为什么要这样更新参数？

3、batch对随机梯度下降的影响？

信息论

1、信息量

用概率描述信息量的重要性质：

（1）事件发生的概率越低，信息量越大

（2）事件发生的概率越高，信息量越小

（3）多个事件同时发生的概率是多个事件概率相乘，总信息量是多个事件信息量相加（确定为对数关系）

则信息量与概率之间一定是减函数的关系。

 为什么是对数呢？

x1和x2同时发生的概率：P(x1,x2)=P(x1)×P(x2)

x1和x2的总信息量：I( x1x2 )=I( x1 )+I( x2 )   -->  log( P(x1x2) )=log( P(x1) )+log( P(x2) )

为什么加上负号？

为了保证信息熵是正数

为什么要取均值？

随机变量有多个状态值，P（xi）只代表随机变量X取xi的概率，我们用熵来评价整个随机变量平均的信息量，而平均最好的量度就是随机变量的期望。

2、熵

信息量是对单个事件来说，但是实际情况一件事有很多种发生的可能，比如掷骰子有可能出现6种情况，明天的天气可能晴、多云或者下雨等等。熵是表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。（熵表示所有信息量的期望）

 例如：

 该事件的熵为：

H(x)=-P(A)log(P(A))-P(B)log(P(B))-P(C)log(P(C))

                                 =0.7*0.36+0.2*1.61+0.1*2.30=0.804

对于0-1分布问题，熵的计算方法可以简化为

H(x)=-P(x)log(P(x))-(1-P(x))log(1-P(x))

 3、相对熵（KL散度）

相对熵，用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异。

        p(x)常用于描述样本的真实分布，例如[1,0,0,0]表示样本属于第一类。

        q(x)常用于表示预测的分布，例如[0.7,0.1,0.1,0.1]。

显然使用q(x)来描述样本不如p(x)准确，q(x)需要不断地学习来拟合准确的分布p(x)。

计算公式为：

D_{KL}(p||q)=\sum_{i=1}^{n}p(x_{i})(log (p(x_{i}))-log (q(x_{i})))

 D_{KL}的值越小，表示q分布和p分布越接近。

4、交叉熵

讲KL散度公式变形得到：

D_{KL}(p||q)=\sum_{i=1}^{n}p(x_{i})log (p(x_{i})-p(x_{i})log (q(x_{i})) =-H(x)-\sum_{i=1}^{n}p(x_{i})log (q(x_{i}))

交叉熵：

H(p,q)=-\sum_{i=1}^{n} p(x_{i})log( q(x_{i}))

相对熵=交叉熵-信息熵 

 机器学习中的交叉熵

1、为什么要用交叉熵做loss函数？

在机器学习中，我们希望模型在训练数据上学到的预测数据分布与真实数据分布越相近越好，上面讲过了，用相对熵，但是为了简便计算使用交叉熵就可以了。

为什么使用交叉熵作为损失函数 - 知乎 (zhihu.com)

  • 平方损失的“罪魁祸首”是sigmoid函数求导之后变成 y1′(1−y1′)∝(1−A)×A2 ，平白无故让曲线变得非常复杂，如果前面能够产生一个 1y1′ 把后面多余项“吃掉”多好
  • 交叉熵的优势就是：它求导之后只提供了一个 1y1′ 去中和后面的导数

 2、梯度下降的原理，为什么要这样更新参数？

3、batch对随机梯度下降的影响？

简单的交叉熵，你真的懂了吗？ - 知乎 (zhihu.com)

(85条消息) 一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉_史丹利复合田的博客-CSDN博客

Lilili..
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
交叉熵损失函数（Cross Entropy Loss）
SongGu1996的博客
08-10 10万+
基础不牢，地动山摇，读研到现在有一年多了，发现自己对很多经常打交道的知识并不了解，仅仅是会改一改别人的代码，这使我感到非常焦虑，自此开始我的打基础之路。如果博客中有错误的地方，欢迎大家评论指出，我们互相监督，一起学习进步。 交叉熵损失函数（Cross Entropy Loss）在分类任务中出镜率很高，在代码中也很容易实现，调用一条命令就可以了，那交叉熵是什么东西呢？为什么它可以用来作为损失函数？...
熵（entropy）、交叉熵（cross-entropy）
Yue_Zengying的博客
05-21 1541
原文：一文搞懂熵(Entropy),交叉熵(Cross-Entropy) 一、熵 1、混乱程度，不确定性，信息量？ 不同的人对熵有不同的解释：混乱程度，不确定性，惊奇程度，不可预测性，信息量等等，面对如此多的解释，第一次接触时难免困惑。本文第一部分，让我们先一起搞明白 熵 究竟是什么？ 信息论中熵的概念首次被香农提出，目的是寻找一种高效/无损地编码信息的方法：以编码后数据的平均长度来衡量高效性，平均长度越小越高效；同时还需满足“无损”的条件，即编码后不能有原始信息的丢失。这样，香农提出了熵的定义：无损编码事
交叉熵代价函数求梯度的推导
vvyuervv的博客
03-14 4208
一直都不太理解使用交叉熵代价函数和使用二次代价函数的求梯度的公式为什么是一样的？ 今天手动推导了一遍，交叉熵函数中的log理解为ln时，刚好是一样的。
手推公式之“交叉熵”梯度
算法码上来
05-23 1366
交叉熵（CrossEntropy）是常见的损失函数，本文详细推导一下它的梯度，面试大厂或者工程实践中都可能会用到。前向传播假设分类任务类别数是，隐层输出是维向量，标准的one-hot向量是，正确的类别是。那么交叉熵损失可以定义为：其中，，是平滑参数。Softmax函数大家都很熟悉了，具体形式为：。反向传播对的梯度要分两种情况：推导过程根据求导法则有：其中就是Softmax函数的梯度（这个推导比较简...
【深度学习笔记】初步理解交叉熵（Cross Entropy）
m0_37935211的博客
05-09 3176
交叉熵是信息论中的一个重要概念，用于衡量两个概率分布之间的差异。在机器学习中常用作损失函数。本文主要参考《Visual Information Theory》,结合本科课程学习过的《通信原理》,希望能较为直观地初步理解交叉熵概念一、何为熵    熵可以理解为通信中的最短平均码长。作者假想了一个人叫Bob,Bob和作者通信，只使用四个单词："dog"、“cat”、“fish”、"bird”。这四个单...
交叉熵损失函数原理详解
01-06
交叉熵损失函数原理详解 之前在代码中经常看见交叉熵损失函数(CrossEntropy Loss)，只知道它是分类问题中经常使用的一种损失函数，对于其内部的原理总是模模糊糊，而且一般使用交叉熵作为损失函数时，在模型的输出层...
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
09-18
对于单个样本，如果真实类别为 \( y \)，则交叉熵损失 \( L \) 可以表示为： \[ L = -\log(\text{softmax}(z)_y) \] 这是因为我们希望预测出的类别 \( y \) 的概率最大，因此对其取对数可以最大化损失，当且...
【Pytorch】BCELoss和BCEWithLogitsLoss损失函数详解
01-07
在Pytorch中，BCELoss和BCEWithLogitsLoss是一组常用的二元交叉熵损失函数，常用于二分类问题，其区别在于前者的输入为已进行sigmoid处理过的值，而后者为sigmoid函数11+exp⁡(−x)\frac{1}{1+\exp(-x)}1+exp(−x)1...
序列分类问题详解.zip
最新发布
08-24
在这个“序列分类问题详解.zip”压缩包中，我们主要关注的是使用TensorFlow这一强大的深度学习库来解决这类问题。TensorFlow是Google开发的开源库，广泛应用于机器学习和深度学习领域，它提供了丰富的API来构建和...
VGG16_vgg16代码_VGG16_vgg16代码详解_
09-29
3. **模型编译**：在模型定义完成后，需要设置损失函数、优化器和评估指标，例如使用交叉熵损失函数，Adam优化器，并选择准确率作为评估指标。 4. **模型训练**：将数据输入模型进行训练，这涉及到批量处理、迭代...
完美解释交叉熵
joaming的博客
04-08 2296
通过几个简单的例子来解释和总结什么是交叉熵（ Cross Entropy） 以及机器学习分类问题中为什么使用交叉熵。 第一个例子 假设随机从一个口袋里取硬币, 口袋里有一个蓝色的, 一个红色的, 一个绿色的, 一个橘色的。 取出一个硬币之后, 每次问一个问题, 然后做出判断, 目标是, 问最少的问题, 得到正确答案. 其中一个最好的设计问题的策略如下: ...
信息熵（学习笔记）
Mental-Flow的博客
12-26 573
一、信息量 信息（1.消除不确定性的事物，2.调整概率，3.排除干扰，4.确定情况） 在介绍信息熵之前，让我们先来了解一下什么是信息量。 信息量，信息量，字面意思是信息的量。既然信息可以量化。那么就有大小之分，那么信息量的大小和什么有关呢？ 信息量的大小其实和事件的不确定性有关。 1、那么不确定性的变化又与什么有关呢？ 与结果的数量有关。 与概率有关。 2、信息量的特点有哪些呢？ 信息量是一个正数。 信息量之间可以相加。 信息量是连续依赖于概率的。 在概率相同的情况下，可能结果数量多的和新的信息所具有
熵、联合熵、相对熵、交叉熵、JS散度、互信息、条件熵
xian0710830114的专栏
12-10 2万+
一、熵 对于离散型随机变量，当它服从均匀分布时，熵有极大值。取某一个值的概率为1，取其他所有值的概率为0时，熵有极小值（此时随机变量退化成确定的变量）。对于离散型随机变量，假设概率质量函数为p(x)，熵是如下多元函数 ： 伯努利分布的熵为： 对于连续型随机变量，假设概率密度函数为p(x)，熵（也称为微Differential Entropy分熵 ）定义为： 二、联合熵 联合熵（Joint Entropy）是熵对多维概...
KL散度与交叉熵区别与联系
Dby_freedom的博客
10-25 2万+
通用的说，熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。在不同领域熵有不同的解释，比如热力学的定义和信息论也不大相同。 要想明白交叉熵(Cross Entropy)的意义，可以从熵(Entropy) -> KL散度(Kullback-Leibler Divergence) -> 交叉熵这个顺序入手。 当然，也有多种解释方法...
理解交叉熵作为损失函数在神经网络中的作用
热门推荐
zhangxu
06-18 5万+
交叉熵的作用通过神经网络解决多分类问题时，最常用的一种方式就是在最后一层设置n个输出节点，无论在浅层神经网络还是在CNN中都是如此，比如，在AlexNet中最后的输出层有1000个节点： 而即便是ResNet取消了全连接层，也会在最后有一个1000个节点的输出层： 一般情况下，最后一个输出层的节点个数与分类任务的目标数相等。假设最后的节点数为N，那么对于每一个样例，神经网络可以得到一个N维的
【深度学习基础知识 - 02】交叉熵
yanyuxiangtoday的博客
08-18 1717
交叉熵通常用于各种分类任务中，这篇文章会对交叉熵做一个简单介绍。 为什么使用交叉熵而不是MSE等损失函数作为分类loss 最主要原因是交叉熵的梯度较为友好。如果用MSE计算loss，则输出的loss曲线是波动的，有很多局部的极值点，任务会演变成非凸优化问题，简单来说就是模型参数很容易进入到一个局部极值点出不来。使用交叉熵作为损失函数可以保证任务依然是凸优化问题，在求导梯度时候有很好的收敛特性。 什么是熵 想要理解交叉熵，就需要知道什么是熵。熵可以直观的理解为信息量。“明天太阳会从东边升起”，这句话信息
[pytorch] 交叉熵损失输出为负数
THE XING
02-17 1万+
网络训练中，loss曲线非常奇怪 交叉熵怎么会有负数。 经过排查，交叉熵不是有个负对数吗，当网络输出的概率是0-1时，正数。可当网络输出大于1的数，就有可能变成负数。 所以加上一行就行了 out1 = F.softmax(out1, dim=1) ...
Sklearn中二分类问题的交叉熵计算
山阴少年
07-26 5852
二分类问题的交叉熵 自己实现的方法有问题？ 研究sklearn中的log_loss源代码 自己实现二分类问题的交叉熵计算
交叉熵
菜鸟只能慢慢练
02-14 2万+
文章转自：http://blog.csdn.net/rtygbwwwerr/article/details/50778098 交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设X是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈X，我们定义事件X=x0的信息量为：...
二分类交叉熵损失函数详解
03-22
二分类交叉熵损失函数是一种常用的损失函数，用于衡量二分类模型的预测结果与真实标签之间的差异。其公式为：L(y, \hat{y}) = -ylog(\hat{y}) - (1-y)log(1-\hat{y})，其中y为真实标签，\hat{y}为模型的预测结果。该损失函数的值越小，表示模型的预测结果与真实标签越接近。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值