【损失函数】熵/相对熵/交叉熵

已于 2022-03-07 14:45:16 修改
阅读量524 收藏
点赞数
分类专栏： 机器学习-算法 文章标签： 概率论 机器学习 算法
于 2022-02-11 23:25:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45721997/article/details/122890432
版权

便于理解但是不够精确的说法：
熵：一种可能性的所有的信息量
相对熵（KL散度）：真实分布与预测的分布的信息量的差（真实-预测），值越小说明与真实约接近。
交叉熵：由kl散度公式变形而得，式子拆开来前半部分是熵后半部分就是交叉熵。因为前面的熵不变，所以优化的时候直接用交叉熵计算损失更加方便。

变形后的kl散度博客记录便于复习与整理，如有不对请指教，谢谢！

参考文献

https://blog.csdn.net/tsyccnh/article/details/79163834

冰淇淋和慕斯蛋糕
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分类问题损失函数 – 交叉熵
01-06
信息熵： 表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。熵越大，随机变量或系统的不确定性就越大。...前半部分就是p(x)的熵，后半部分就是交叉熵： 机器学习中，我们常常使用KL散度来评估pr
kl.zip_KL散度 多大_kl 散度_交叉熵_分布熵_相对熵KL
07-13
计算kl散度，信息熵，是随机变量或整个系统的不确定性。熵越大，随机变量或系统的不确定性就越大。 相对熵，用来衡量两个取值为正的函数或概率分布之间的差异。 交叉熵，用来衡量在给定的真实...相对熵=交叉熵-信息熵
为什么使用交叉熵代替二次代价函数_机器学习基础——详解机器学习损失函数之交叉熵...
weixin_39622123的博客
11-20 239
点击上方蓝字，和我一起学技术。今天这篇文章和大家聊聊机器学习领域的熵。我在看paper的时候发现对于交叉熵的理解又有些遗忘，复习了一下之后，又有了一些新的认识。故写下本文和大家分享。熵这个概念应用非常广泛，我个人认为比较经典的一个应用是在热力学当中，反应一个系统的混乱程度。根据热力学第二定律，一个孤立系统的熵不会减少。比如一盒乒乓球，如果把盒子掀翻了，乒乓球散出来，它的熵增加了。如果要将...
彻底搞懂交叉熵、信息熵、相对熵、KL散度、交叉熵损失函数
晴明大大的创作中心
04-29 2906
熵 什么是熵呢？ 简单来讲，熵就是表示一个事件的确定性程度如何。 通常，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。 比如假设事件Q，有A、B、C三种情况都是有概率性发生的，但是不定。如果其中A比B、C两种种发生的概率更大，那么事件Q发生A的可能性更加确定，换句话说，不确定性更小；如果其中A与B、C两种发生的概率都相等，那么事件Q发生A、B、C的情况都有可能，不确定会发生哪一个，换句话说，不确定性更大。 所以确定性程度越大（即不确定性程度越低），熵越小；确定性程度越低（即不确定性程度
机器学习 | 算法模型 —— 算法训练：损失函数之交叉熵（熵/相对熵/KL散度/sigmoid/softmax）
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
07-10 2033
目录 1.信息论 1.1.信息量 1.2.熵 1.3.KL散度（相对熵） 1.4.交叉熵 2.交叉熵的类型 2.1.多分类交叉熵 2.2.二分类交叉熵 3.学习过程（以二分类为例） 3.1.第一项求偏导 3.2.第二项求偏导 3.3.第三项求导 3.4.计算结果 1.信息论 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。同时，交叉熵也是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。 1.1.信息..
机器学习之相对熵、交叉熵（为什么交叉熵可以作为损失函数）
冰糖麻辣鱼的博客
12-10 546
文章目录自信息信息熵相对熵（KL散度）交叉熵为什么交叉熵可以作为损失函数参考文章 自信息   信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能够提供发更多的信息。消息说：“今天早上太阳升起”，信息量是如此少，以至于没有必要发送；但一条消息说：“今天早上有日食”，信息量就很丰富。   一条信息的信息量大小和它的不确定性有直接的关系，我们可以认为，信息量的度量就等于不确定...
损失函数——交叉熵损失函数（CrossEntropy Loss）
热门推荐
weixin_45665708的博客
12-16 8万+
损失函数——交叉熵损失函数（CrossEntropy Loss） 交叉熵函数为在处理分类问题中常用的一种损失函数，其具体公式为： 1.交叉熵损失函数由来 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。首先我们来了解几个概念。 1.1信息量 信息论奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “六
kl.zip_KL熵_相对熵_相对熵 kl_相对熵KL_真实熵
07-14
信息熵，是随机变量或整个系统的不确定性。熵越大，随机变量或系统的不确定性就越大。 相对熵，用来衡量两个取值为正的函数或概率分布之间的差异。 交叉熵，用来衡量在给定的真实分布下，使用...相对熵=交叉熵-信息熵：
Matlab计算shannon Tsallis,renyi,escort Tsallis 熵和相对熵
10-19
1.版本：matlab2019a，不会运行可私信 2.领域：【信号处理】 3.内容：基于Matlab计算shannon Tsallis,renyi,escort Tsallis 熵和相对熵 4.适合人群：本科，硕士等教研学习使用
一文理解什么是交叉熵损失函数以及它的作用
最新发布
这里全是通俗易懂的神经网络算法解析，和好玩的实战项目
12-08 2603
今天看一个在深度学习中很枯燥但很重要的概念——交叉熵损失函数。作为一种损失函数，它的重要作用便是可以将“预测值”和“真实值(标签)”进行对比，从而输出 loss 值，直到 loss 值收敛，可以认为神经网络模型训练完成。那么这个所谓的“交叉熵”到底是什么，为什么它可以用来作为损失函数呢？
损失函数——KL散度（Kullback-Leibler Divergence，KL Divergence）
weixin_50752408的博客
03-15 8899
KL散度衡量的是在一个概率分布 �P 中获取信息所需的额外位数相对于使用一个更好的分布 �Q 所需的额外位数的期望值。要在训练中使用 KL散度作为损失函数，可以将其作为模型的一部分加入到损失函数的计算中。在机器学习中，KL散度常常用于衡量两个概率分布之间的差异程度，例如在生成模型中使用 KL散度作为损失函数的一部分，或者在聚类和分类问题中使用 KL散度作为相似度度量。需要注意的是，KL散度的计算要求 P 和 Q 的元素都为正数，因此需要在计算前对两个概率分布进行归一化处理，使其元素和为 1。
从信息熵、相对熵到交叉熵损失函数
qq_41296039的博客
04-04 942
介绍了机器学习中的三个重要概念：信息熵、相对熵和交叉熵。通过通俗易懂的语言以及实例的方式，阐述了这些概念的含义和作用。在实践中，我们通常使用交叉熵作为损失函数，最小化其值，以提高模型的预测准确率。虽然以上是机器学习中的概念，但是在实际应用中可能会有很多变化和扩展，需要根据实际工作和研究进行深入的学习和探索。
常用损失函数小结
zhangjunp3的博客
05-27 8万+
一、摘要本文主要总结一下常见的损失函数，包括：MSE均方误差损失函数、SVM合页损失函数、Cross Entropy交叉熵损失函数、目标检测中常用的Smooth L1损失函数。其中还会涉及到梯度消失、梯度爆炸等问题：ESM均方误差+Sigmoid激活函数会导致学习缓慢；Smooth L1损失是为了解决梯度爆炸问题。仅供参考。二、均方误差损失2.1 均方差损失函数的定义：均方差损失函数常用在最小二乘...
机器学习中的熵、条件熵、相对熵和交叉熵（为何使用交叉熵作为损失函数）
emmmmmm
09-10 3734
1、信息熵 (information entropy)   熵 (entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shannon entropy)，信息熵 (information entropy)。本文只讨论信息熵。首先，我们先来理解一下信息这个概念。信息是一个很抽象的概念，百度百科将它定义为：指音讯、消息、通讯系统...
交叉熵，相对熵，为什么损失函数用交叉熵
夏未眠秋风起的博客
10-03 1219
前言在处理分类问题的神经网络模型中，很多都使用交叉熵 (cross entropy) 做损失函数。这篇文章详细地介绍了交叉熵的由来、为什么使用交叉熵，以及它解决了什么问题，最后介绍了交叉熵损失函数的应用场景。要讲交叉熵就要从最基本的信息熵说起1.信息熵信息熵是消除不确定性所需信息量的度量。（多看几遍这句话）信息熵就是信息的不确定程度，信息熵越小，信息越确定。 (因为事件都有个概率分布，这里我们只考虑离散分布)举个列子，比如说：今年中国取消高考了，这句话我们很不确定(甚至心里还觉得这TM是扯淡)，那我们就要去
损失函数熵理解
qq_48034566的博客
03-20 707
损失函数熵理解 详解：https://www.cnblogs.com/wangguchangqing/p/12068084.html#autoid-0-0-0 熵：信息量大小，和化学中的混乱程序想对比理解，越大表示不确定性越大，信息量越小；因此越小越好 相对熵：也叫KL散度，两个概率分布的相似程度，越小越相似，从公式也可以看出来两个每个的概率都相同，那么为0； 交叉熵：目标分布与原分布的相似程度； 很多损失函数都是用交叉熵表示的，就是用自己求出的分布和原分布比较相似性，越小越好，其中含有的含义就是相似
交叉熵损失函数
William Zhao's notes
10-05 6万+
一、香农熵 香农熵   1948 年，香农提出了“信息熵”(shāng) 的概念，才解决了对信息的量化度量问题。 一条信息的信息量大小和它的不确定性有直接的关系。比如说，我们要搞清楚一件非常非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们不需要太多的信息就能把它搞清楚。所以，从这
熵、交叉熵、KL散度、损失函数
iterate7的博客
04-25 1万+
信息量 一个事件x的信息量是： I(x)=−log(p(x))I(x)=−log(p(x)) I(x)=-log(p(x)) 解读：如果一个事件发生的概率越大，那么信息量就越小。如果是1，也就是100%发生，那么信息量为0。 熵 就是对信息量求期望值。 H(X)=E[I(x)]=−∑x∈Xp(x)logp(x)H(X)=E[I(x)]=−∑x∈Xp(x)log⁡p(x) H(X...
交叉熵损失函数 理解
08-01
交叉熵损失函数的计算过程中，首先使用softmax函数将得分向量转化为概率分布，然后将预测的概率分布与真实标签的概率分布进行比较，计算它们之间的相对熵（也称为互熵）。相对熵用来表示两个概率分布的差异，当两个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值