对机器学习中信息熵的理解 交叉熵损失函数

最新推荐文章于 2024-03-04 19:00:00 发布
最新推荐文章于 2024-03-04 19:00:00 发布
阅读量551 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HaruStone/article/details/99698382
版权
本文探讨了信息熵在机器学习中的作用，特别是在ID3、C4.5、CART等决策树算法中的应用。通过介绍信息熵的基本概念和公式，解释了其作为衡量不确定性的方式。此外，文章还讨论了二分类问题中的损失函数，特别是交叉熵损失函数，它是衡量预测分布与真实分布相似度的指标，并在逻辑回归中广泛应用。
摘要由CSDN通过智能技术生成

刚开始看ID3、C4.5、CART等算法时，不怎么理解信息熵，后来看了几篇博客时才发现可以拿来解释我们常用的二分类损失函数。
参考：
信息熵
L1\L2正则化与交叉熵、相对熵
机器学习（四）从信息论交叉熵的角度看softmax/逻辑回归损失

一、信息熵

信息熵是拿来消除系统不确定性的，指代的是信息的含量
信息熵的定义公式：
在这里插入图片描述

其中，我们一般log以2为底，指代的是单位为bit的信息量

（若对数函数以e为底，单位为奈特(nat)；若对数函数以10为底，单位为哈特(hartly)）

如英语有26个字母，假如每个字母在文章中出现次数平均的话，每个字母的信息量为
在这里插入图片描述
而汉字常

最低0.47元/天 解锁文章
HaruStone
关注
专栏目录
机器学习中的数学（2）：信息熵与损失函数，致敬Shannon神
LSayhi的博客
09-06 3649
机器学习中的数学（2）：信息熵与损失函数，致敬Shannon神 在众多的机器学习和深度算法中，我们见到许多度量模型效果的损失函数，在回归任务中常见的是均方误差函数，在分类任务中，交叉信息熵则使用很频繁，为什么呢？本次文章将带你领略香农信息论的魔力。 本期导读： 香农与信息论 信息熵 相对熵与交叉熵 均方误差与交叉熵对比 多目标分类 最小化交叉熵与最大化似然函数 申明 本文原理解释及公式推导...
从熵到交叉熵损失函数的理解
weixin_30642029的博客
07-27 150
目录 从熵到交叉熵损失函数的理解 说在前面 熵(Entropy) 相对熵(KL散度 Kullback-Leibler Divergence) 交叉熵(Cross Entropy) 机器学习中交叉熵的应用 参考博客 ...
交叉熵损失函数（信息量、信息熵、KL散度）_Focal Loss_
weixin_42649699的博客
06-26 1123
本文参考别人的博客所写，怕自己忘记所以写下此博客，方便以后翻阅。 信息量 信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。 总结来说就是：信息量的大小与可预见的概率之间成反比。 信息量越大，可预见的概率越大；信息量越小，可预见的概率越小。 设某一事件发生的概率为P(x)，其信息量表示为： 其中，I(X)表示信息量，这里log表示以e为底的自然对数，P表示事件发生的概率。 信息熵 信息熵也被称
信息论笔记：信息量+熵+相对熵+交叉熵+损失函数
最新发布
一只努力学习的小碗~
03-04 234
信息论学习笔记，涉及知识点有：信息量、熵、相对熵、交叉熵、损失函数等
从信息熵、相对熵到交叉熵损失函数
qq_41296039的博客
04-04 1061
介绍了机器学习中的三个重要概念：信息熵、相对熵和交叉熵。通过通俗易懂的语言以及实例的方式，阐述了这些概念的含义和作用。在实践中，我们通常使用交叉熵作为损失函数，最小化其值，以提高模型的预测准确率。虽然以上是机器学习中的概念，但是在实际应用中可能会有很多变化和扩展，需要根据实际工作和研究进行深入的学习和探索。
机器学习中的数学（2）：信息熵与损失函数1
08-03
机器学习中的数学（2）：信息熵与损失函数 在机器学习和深度学习中，我们常见到许多度量模型效果的损失函数，在回归任务中常见的是均方误差函数，在分类任务中，交叉熵则使用很频繁，为什么呢？本文将带您领略香农...
交叉熵损失函数分类_PyTorch学习笔记——多分类交叉熵损失函数
weixin_35129495的博客
01-30 2817
理解交叉熵关于样本集的两个概率分布p和q，设p为真实的分布，比如[1, 0, 0]表示当前样本属于第一类，q为拟合的分布，比如[0.7, 0.2, 0.1]。按照真实分布p来衡量识别一个样本所需的编码长度的期望，即平均编码长度(信息熵)：如果使用拟合分布q来表示来自真实分布p的编码长度的期望，即平均编码长度(交叉熵)：直观上，用p来描述样本是最完美的，用q描述样本就不那么完美，根据吉布斯不等式， ...
详解机器学习损失函数之交叉熵
TechFlow的博客
02-26 944
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天这篇文章和大家聊聊机器学习领域的熵。 我在看paper的时候发现对于交叉熵的理解又有些遗忘，复习了一下之后，又有了一些新的认识。故写下本文和大家分享。 熵这个概念应用非常广泛，我个人认为比较经典的一个应用是在热力学当中，反应一个系统的混乱程度。根据热力学第二定律，一个孤立系统的熵不会减少。比如一盒乒乓球，如果把盒子掀翻了，乒乓球散出...
【机器学习入门】交叉熵损失函数与MLE准则
jasonso97的博客
01-17 1388
交叉熵损失函数最小化与MLE估计是等价的，不同的任务（如线性回归、二分类、多分类）导出的交叉熵损失函数具体样子不同。这篇文章对以上三种任务的交叉熵损失函数\代价函数进行了一定的推导介绍。
理解「交叉熵」损失函数（包含自信息、信息熵、KL散度、交叉熵概念整理）
人工智能算法与工程实践
10-09 6345
KL散度、交叉熵可以用于衡量模型的“损失”。要深入理解KL散度和交叉熵，首先要从信息论中的基础概念入手。
信息量、信息熵、交叉熵、KL散度以及交叉损失函数的关系与理解
铁血军的小博客
10-20 2552
记事件ppp,在各个状态下xix_ixi​ 的概率为p(xi)p(x_i)p(xi​) 。(假设共n个状态） 1、 信息量：概率越大信息量越小。 −log(p(xi)) -log(p(x_i)) −log(p(xi​)) 2、 信息熵：信息量的期望值： H(p)=∑i=1np(xi)(−log(p(xi))) H(p) = \sum\limits_{i = 1}^n {p({x_i})} ( - log(p({x_i}))) H(p)=i=1∑n​p(xi​)(−log(p(xi​))) 3、 交叉熵：.
信息熵与损失函数
yyliunianyy的专栏
11-28 901
https://mp.weixin.qq.com/s?__biz=MzU4NTY1NDM3MA==&mid=2247483805&idx=1&sn=2e5f19e084fa71e7f32ae9c1717f948d&chksm=fd860890caf18186adc55c64f3df93f1276f878c3c158c0fdddf219ff73ef662a4cc39d...
信息熵的意义
weixin_43779531的博客
06-22 1903
信息熵的真正意义,信息能够量化的过程,能够展示出来的数据,一组数据,在python中的量化过程, 只要能通过计算,将结果运算出来就是将问题转化为一个可以解决的问题 from collections import Counter def entropy(y): counter = Counter(y) res = 0.0 for num in counter.values(): p = num / ...
深度学习笔记——信息熵、相对熵、KL散度、交叉熵、softmax、sigmoid、交叉熵损失基本概念
lwljing的博客
04-21 1280
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录一、熵与信息熵是什么？二、信息熵总结 一、熵与信息熵是什么？ “熵”形容系统混乱的程度，主要物理上面的用语。 “信息熵”也是用来信息的的程度，主要应用的领域是在信息论里面。 熵=信息熵 二、信息熵 举个例子： 其实这里 总结 提示：这里对文章进行总结： 例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。 ...
【深度学习】损失函数（1）：Cross-Entropy Loss 交叉熵损失（代价函数和损失函数的区别+交叉熵与KL散度、信息熵/熵之间的关系）
weixin_46564151的博客
03-23 837
优化我们的神经网络，使计算出的交叉熵最小，这就是交叉熵损失的基本思想
NLL_LOSS与CROSS_ENTROPY_LOSS详解
GXG_boss6的博客
09-05 843
NLL_LOSS, CROSS_ENTROPY_LOSS详解常用损失函数nllcross_entropy一段代码transformer中的一段经典代码 常用损失函数 nll 官方文档 torch.nn.functional.nll_loss(input, target, weight=None, size_average=None, ignore_index=- 100, reduce=None, reduction='mean') input,(N,C); target,(N);&nbsp
基础算法：交叉熵损失函数
weixin_48186491的博客
10-10 401
改进方法论文：”随机优化的改进交叉熵方法“，DOI：10.13700/j.bh.1001-5965.2017.0017 交叉熵主要用于度量两个概率分布之间的差异性。 信息量 设某一个事件发生的概率为????(????)，则信息量表示为????????=−log⁡(????(????))，I(x)表示信息量，log是以e为底的自然对数。 信息熵 用来表示所有信息量的希望，公式：（X表示一个离散型的随机变量）????????=−????=1????????????????log⁡(??????????
机器学习之相对熵、交叉熵（为什么交叉熵可以作为损失函数）
冰糖麻辣鱼的博客
12-10 593
文章目录自信息信息熵相对熵（KL散度）交叉熵为什么交叉熵可以作为损失函数参考文章 自信息   信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能够提供发更多的信息。消息说：“今天早上太阳升起”，信息量是如此少，以至于没有必要发送；但一条消息说：“今天早上有日食”，信息量就很丰富。   一条信息的信息量大小和它的不确定性有直接的关系，我们可以认为，信息量的度量就等于不确定...
理解交叉熵损失函数：从信息论到深度学习
交叉熵损失函数在人工智能，尤其是机器学习和深度学习中扮演着核心角色，它不仅提供了衡量模型预测性能的标准，还作为优化目标，驱动模型在训练过程中不断学习和改进。通过理解和正确应用交叉熵损失函数，可以有效地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值