《机器学习-小知识点》2： 熵，信息量，交叉熵，KL散度

最新推荐文章于 2024-08-16 23:31:18 发布
最新推荐文章于 2024-08-16 23:31:18 发布
阅读量200 收藏 1
点赞数
分类专栏： 小知识点 文章标签： 熵 信息量 交叉熵 kl散度 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wistonty11/article/details/120416080
版权
本文探讨了熵、信息量、交叉熵和KL散度在机器学习中的基本概念及其应用。熵用于衡量模型的混乱程度，信息量通过-log2x定义，交叉熵作为损失函数在逻辑回归中使用，而KL散度则用来评估模型与真实分布的相似度。通过理解这些概念，可以更好地优化模型并提高预测准确性。
摘要由CSDN通过智能技术生成 
主要参考资料：https://www.bilibili.com/video/BV15V411W7VB

2021.09.21
这个视频非常棒，有时间可以看看

“交叉熵”如何做损失函数？打包理解“信息量”、“比特”、“熵”、“KL散度”、“交叉熵”

文章目录

1. 问题提出

  • 我们在逻辑回归的时候，会经常看见 熵 这个字，那什么是熵？
  • 我们在推导《逻辑回归5.2.2通式》的过程中，有人说是交叉熵，那什么是交叉熵？

在这里插入图片描述

  • 交叉熵和最大似然估计有什么联系和区别？

2 熵

  • 熵解决了个什么问题？

    衡量不同模型的好坏。 通常比较，都是同一模型进行比较的，不同模型没办法比较。比如，牛和鸡蛋怎么来衡量价值的高低，是通过同一货币体系来衡量的。所以熵就是概率模型统一衡量的一个公度。

  • 啥是熵？

    熵即是热力学概念，也是信息论概念。信息论上讲，

    • 定义： f ( x ) : = 信 息 量 f(x):=信息量 f(x):=信息量
    • 同时发生的熵 f ( x 1 ∗ x 2 ) = f ( x
最低0.47元/天 解锁文章
羊老羊
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
机器学习中的信息量与熵
L.Z.的博客
09-07 2237
  我们在学习机器学习算法的时候经常听到自信息、互信息、条件熵、交叉熵等概念。下面为我在学习过程中总结的信息量和熵的相关概念。 信息量：度量的是一个具体事件发生所带来的信息 熵：在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望 目录 目录 信息量的相关概念有：自信息、互信息 自信息：I(X) 互信息：I(X;Y) 熵：...
【机器学习】信息量、香农熵、信息增益（增加例子，方便理解）
qq_25218219的博客
05-07 2541
这个公式的物理意义是，当事件 i 发生的概率越小时，其所包含的信息量就越大。例如，在一组有 8 个等概率的符号中选出一个符号，它所包含的信息量为。在信息论中，香农熵通常被定义为一个系统中所有可能事件的信息量的期望值。但是，突然某一天有人告诉你，今天太阳是从西边出来的，那么这条信息的信息量就。不完全正确，虽然在一些情况下，信息量可以通过一个事件发生的概率来表示，但是。是不是可以简单的将系统中的所有事件的信息量加和大小作为整个系统的香农熵值？事件i发生的概率）就可以量化的表示信息的信息量了。
机器学习：信息熵理解
sealir的博客
12-24 1503
    如果说概率是对事件确定性的度量、那么信息（包括信息量和信息熵）就是对事物不确定性的度量。信息熵是由香农（C.E.Shannon）在1948年发表的论文《通信的数据理论（A Mathematical Theory of Communication）》中提出的概念。他借用热力学中热熵的概念（热熵是表示分子状态混乱程度的物理量），解决了对信息的量化度量问题，也常用来对不确定性进行度量。 信息量...
详解机器学习由 信息量→熵→相对熵→交叉熵
Gipsy
07-31 518
理解流程大致如下： 信息量X轴表示P y轴表示信息量   信息论 交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。 1 信息量 首先是信息量。假设我们听到了两件事，分别如下： 事件A：巴西队进入了2018世界杯决赛圈。 事件B：中国队进入了2018世界杯决赛圈。 仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的...
机器学习——详解信息量、熵、条件熵、相对熵(KL散度)和交叉熵
Lavi的专栏
07-20 1279
信息量、熵、条件熵、相对熵和交叉熵1 信息量2 信息熵3 条件熵4 相对熵(KL散度)5 交叉熵6 总结7 参考 1 信息量 一条信息的信息量大小和它的不确定性有直接的关系。我们需要搞清楚一件非常非常不确定的事，或者是我们一无所知的事，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们就不需要太多的信息就能把它搞清楚。所以，从这个角度，我们可以认为，信息量的度量就等于不确定性的多...
【机器学习】信息量，信息熵，交叉熵，KL散度和互信息（信息增益）
热门推荐
haolexiao的专栏
04-12 2万+
首先先强烈推荐一篇外文博客Visual Information Theory这个博客的博主colah是个著名的计算机知识科普达人，之前非常著名的那篇LSTM讲解的文章也是他写的。这篇文章详细讲解了信息论中许多基本概念的来龙去脉，而且非常的直观用了大量的图片，和形象化的解释。 信息量信息量用一个信息所需要的编码长度来定义,而一个信息的编码长度跟其出现的概率呈负相关,因为一个短编码的代价也是巨大的,因为
机器学习相关的基础数学知识
02-21
### 机器学习相关的基础数学知识 #### 一、线性代数 线性代数是机器学习中的核心数学工具之一，它提供了理解数据结构和算法的基础。以下是一些关键概念： - **向量**：一个有序数值列表，可以表示多维空间中的点...
JS散度计算【matlab代码】
06-25
JavaScript（JS）散度是一种衡量两个概率分布之间差异的统计量，源于信息理论中的Kullback-Leibler散度（KL散度），但具有对称性。在JS散度中，我们并不关心哪个分布是“原始”或“参考”，而是关注它们之间的相似...
模式识别与机器学习1
08-03
相对熵（又称KL散度）衡量两个概率分布的相似度，互信息则揭示了两个随机变量之间的关联程度。这些概念在特征选择和模型评估中有着重要应用。 以上内容仅是《模式识别与机器学习》一书的冰山一角，实际上，这本书还...
IR02-课堂讨论1
08-08
在IT领域，尤其是信息理论和机器学习中，熵、KL散度和交叉熵是至关重要的概念，它们在理解和评估数据分布、模型性能以及信息编码效率方面起着核心作用。首先，我们来详细探讨这些概念。 1. **熵**：熵是热力学中的...
机器学习的信息量，熵，交叉熵，相对熵(KL散度)，条件熵，联合熵，互信息的区别
Zivid_Liu的博客
09-15 529
机器学习的信息量，熵，交叉熵，相对熵(KL散度)，条件熵，联合熵，互信息的区别 信息量 信息量的大小可以衡量事件的不确定性或发生的惊讶程度，具体事件的信息量随其概率的递增而递减，且不能为负。 H(x)=-logp(x) 信息熵（熵） 对于一个随机变量X，它的所有可能取值的信息量的期望称为信息熵。熵是服从某一特定概率分布事件的理论最小平均编码长度。通常P描述样本的真实分布，Q描述预测分布。 离散变量:H(x)=-∑_(x∈X)▒〖p(x) log⁡p(x) 〗…………(1) 连续变量：H(x)=-∫_(x∈
【机器学习】深度学习实践
最新发布
zhugedali_的博客
08-16 335
深度学习实践是一个系统性的工程，需要综合运用数学、统计学、计算机科学等多领域的知识和技术，同时结合丰富的实践经验和不断的尝试与改进，才能构建出性能优异、满足实际需求的深度学习模型。- 通过网格搜索、随机搜索或基于模型的超参数优化方法（如 Hyperopt、Ray Tune 等），寻找最优的超参数组合，如层数、神经元数量、学习率、正则化参数等。- 对于序列数据处理，如自然语言处理中的文本，可选择循环神经网络（RNN）、长短时记忆网络（LSTM）、门控循环单元（GRU）或 Transformer 架构。
论文精要：《对静态分析缺陷报告进行聚类，以降低维护成本》
shendong70的博客
08-11 988
静态分析工具通过自动识别源代码中的错误来促进软件维护。但是，对于大型系统，这些工具通常会生成大量的缺陷报告，其中许多缺陷报告在概念上是相似的。单独处理缺陷会花费开发人员的工作量，并增加维护负担。建议对生成的缺陷报告进行聚类，以便可以对类似的错误进行分类，并可能一起修复。论文的方法利用静态错误报告中可用的语法和结构信息来准确地聚类相关报告，从而加快维护过程。
机器学习之 K 近邻算法图像识别实战
m0_73697499的博客
08-16 277
K 近邻算法的工作原理非常直观：给定一个训练数据集，对于每一个待分类的对象，找出特征空间中最接近它的 K 个训练样本，这 K 个样本的多数类别决定了待分类对象的类别。距离度量：通常使用欧氏距离作为相似性度量。K 的选择：K 的值决定了分类的灵活性，较小的 K 值使得分类更加敏感，较大的 K 值则更加稳健。
《机器学习》——运用OpenCV库中的KNN算法进行图像识别
weixin_73504499的博客
08-16 1010
KNN算法的简单介绍、下载OpenCV库、实验内容、实验结果、完整代码、自己手写数字传入模型中测试
数据平衡的艺术：解锁机器学习中的类别不平衡难题
2401_85760095的博客
08-16 275
类别不平衡（Class Imbalance）是指在数据集中，某些类别的样本数量远多于其他类别。这种情况在现实世界的分类问题中非常普遍，如信用卡欺诈检测、疾病诊断等。类别不平衡会对模型的性能产生负面影响，导致模型偏向于多数类，而忽视少数类的特征和模式。
《机器学习by周志华》学习笔记-决策树-03连续值与缺失值
vanilla698的博客
08-12 784
到目前为止，我们在决策树01、02中仅讨论了基于离散属性来生成决策树，而现实任务中常会遇到连续属性，所以在本章的学习中，我们将会讨论如何在决策树学习中使用连续属性。缺失值处理现实生活中的数据结构经常会遇到不完整的样本，即有些样本的某些属性值缺失。且样本数量越大，缺失的属性值会越多。例如医疗数据中隐私测量结果等。
知识蒸馏交叉熵和KL散度
07-19
知识蒸馏是一种机器学习技术，通常用于将一个大型复杂的模型（称为教师模型）的知识传授给一个小型轻量级模型（称为学生模型）。在这个过程中，两个模型之间的差异主要是通过交叉熵损失函数来衡量的。交叉熵（Cross-Entropy Loss）是一种常用的分类损失函数，它衡量了学生模型预测结果与真实标签之间的差异。 当涉及到知识蒸馏时，特别是在教师模型输出概率分布的情况下，除了标准的交叉熵外，还常常会引入Kullback-Leibler (KL) 散度。KL散度是一种度量两个概率分布之间差异的统计量。在蒸馏过程中，教师模型的概率分布作为“软目标”（soft labels），而学生模型尝试接近这个分布，KL散度则充当了一个桥梁，让学生模型尽量模仿老师的不确定性。 简而言之，交叉熵关注的是学生模型的分类决策是否接近实际标签，而KL散度则更注重学生模型对于输出可能性的理解是否接近老师模型。结合这两者，可以提高学生模型的学习效率和性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羊老羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值