机器学习中的信息量与熵

最新推荐文章于 2023-03-15 16:15:26 发布
最新推荐文章于 2023-03-15 16:15:26 发布
阅读量2.3k 收藏 5
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lz_peter/article/details/82499027
版权
本文介绍了机器学习中的信息量和熵的概念，包括自信息、互信息、信息熵、联合熵、条件熵、交叉熵和相对熵，并探讨了它们的关系。自信息衡量事件发生的信息量，互信息反映变量间的依赖性，熵则表示不确定性。交叉熵常用于逻辑回归的损失函数，相对熵（KL散度）用于度量概率分布差异。
摘要由CSDN通过智能技术生成

 

我们在学习机器学习算法的时候经常听到自信息、互信息、条件熵、交叉熵等概念。下面为我在学习过程中总结的信息量和熵的相关概念。

信息量：度量的是一个具体事件发生所带来的信息

熵：在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望

目录

目录

信息量的相关概念有：自信息、互信息

自信息：I(X)

互信息：I(X;Y)

熵：H(X)

联合熵：H(X,Y)

条件熵：H(X|Y)

交叉熵：H(p,q)

相对熵（KL散度）：D(p||q)

信息量和熵的关系

信息量的相关概念有：自信息、互信息

  • 自信息：I(X)

    • 表示一个事件发生后所带来的信息量
    • 概率p(x)越小，x出现的概率就越小，一旦出现所获得的信息量就越大

  • 互信息：I(X;Y)</

最低0.47元/天 解锁文章
-永不妥协-
关注
专栏目录
信息量理解、信息熵公式的推导
爱学习的大孩子
05-27 1万+
1， 了解信息熵先弄明白信息量的概念 信息量是指信息多少的量度。 信息量有两个重要的特点： (1)一个事件的信息量与这个事件发生的概率是呈负相关的。这个很好理解，就拿生活中的例子来说，越大概率事件所涵盖的信息量越小，如：晴天的早上太阳从东边升起，这可以说是一个必然事件，给我们带来的信息几乎为零。如：国足踢进了世界杯，对于这种几乎不可能的小概率事件，人们估计都会想把它搞清楚，想把他们搞清楚需要的...
机器学习基础：概率和熵
Abner98414的博客
05-26 1719
机器学习基础：概率和熵
信息量与信息熵
idwtwt的专栏
07-14 6528
1 信息量信息量即信息多少的度量。跟我们认识中秒是时间多少的度量，米是长度多少的量度是一样的意思。百度百科上定义秒：铯133原子基态的两个超精细能阶之间跃迁时所辐射的电磁波的周期的9,192,631,770倍 的时间 。那信息的多少怎么衡量呢？一个人告诉你一件事，比如太阳从东方升起；你说这是常识啊，大家都知道。一个人告诉你，明天某个时间在某个地方待着，将有一个亿支票掉下来，这个事情概率比较低，信息...
机器学习中的数学（2）：信息熵与损失函数1
08-03
机器学习中的数学（2）：信息熵与损失函数 在机器学习和深度学习中，我们常见到许多度量模型效果的损失函数，在回归任务中常见的是均方误差函数，在分类任务中，交叉熵则使用很频繁，为什么呢？本文将带您领略香农...
数学基础 | (6) 机器学习中的几个熵
01-20
信息量的期望就是熵，假设事件X有n种可能，发生的概率为,那么该事件的熵H(X)为： 如果发生的事件只有两种可能性，那么熵的计算转化为下列式子： 3. 相对熵(KL散度/KL divergence) 相对熵又叫KL散度，也叫做信息...
机器学习-信息熵
u011613991的专栏
07-27 1589
熵 熵是信息论中的一个基本概念，也称香农熵或信息熵，它衡量了一个概率分布的随机性程度，或者说它包含的信息量的大小。 考虑随机变量取某一特定值所包含的信息量大小，假设随机变量X取值x的概率为p(x), 取这个值的概率很小而它又发生了，则包含的信息量大。 考虑下面两个随机事件。 （1）明天要下雨 （2）奥巴马登上火星了 显然后者所包含的信息量要大于前者，因为后者的概率要远小于前者但却发生了。 如果定义一个函数h(x)来描述随机变量取值为x时的信息量大小，则h(x...
白话信息熵
Abner
08-04 4777
距离有近有远，时间有长有短，温度有高有低，我们知道可以用米或者千米来度量距离，用时分秒可以来度量时间的长短，用摄氏度或者华氏度来度量温度的高低，那么我们常说这个信息多，那个信息少，那么信息的多少用什么度量呢？熵！ 信息量是了解一个未知事物需要查询的
信息量与熵
mjiansun的专栏
07-23 5063
目录 熵和信息的定义 信息量获取的三种手段（本质都是正确的调整每个可能情况的概率） 相关例子 信息的性质 相关例子 概率和熵的不同 无效信息情况 易出现的概念偷换 熵的由来 举例 信息熵普遍形式 至此，我做一个简单的比较 例子，下面所举例子的总前提： 一个选择题，他有四个选项，正确答案是C，但小明在做这道选择题时，完全不知道这道题该怎么做，他选择ABCD选项的概...
信息量和熵 - 总结
weixin_43721354的博客
04-11 1668
总结一下 离散变量： 离散变量 非平均自信息量 平均自信息量 - 熵 自信息 I(xk)=log1q(xk)=−logq(xk)I(x_{k}) = log\frac{1}{q(x_{k})} = - log q(x_{k})I(xk​)=logq(xk​)1​=−logq(xk​) {X,q(x)}\{X, q(x)\}{X,q(x)} : H(x)=∑q(x)...
信息量、信息熵、条件熵、信息增益
没有格子衬衫的程序员
08-07 1348
信息量 有时候，当你知道某件事情的时候，你可能会说 “这有什么奇怪的啊”，比如，有同事告诉你“明天太阳从东边升起”，这就是说这件事情的信息量比较少。 又比如，当你知道明天彩票号码时，你就可能会说 “这个事是真的吗，太不可思议了”，就是说这件事情信息量比较大。 从上面的事情就是对一件事情携带信息量的直观感受，那么从数学角度是否可以衡量信息量呢？又或者说有没有某个公式可以衡量信息量呢？ 我们来...
信息量，信息熵，交叉熵
weixin_30378311的博客
03-20 596
1、信息量： 公式：I(x) = -logp(x)，单从公式上也可以看出，概率越低熵越大（低概率事件带来的高信息量）。通俗一点来说的话，就是概率论中很简单的推广就行了。 2、熵的定义： （1）上面的 I(x) 是指在某个概率分布之下，某个概率值对应的信息量的公式。那么我们要知道这整个概率分布对应的信息量的平均值。这个平均值叫做随机变量x的熵。 （2）熵是接收的每条信息中包含的信息...
理解自信息和信息熵——为什么自信息这样算？
Colin_Downey的博客
03-31 5716
一直对香农的信息熵(Information Entropy)都没有一个非常感性的认识，今日摸鱼学习了一下这个问题。 我们先来看看香农是怎么看待交流中的“信息”： “The fundamental problem of communication is that of reproducing at one point either exactly or approximately a ...
[机器学习-概念篇]彻底搞懂信息量，熵、相对熵、交叉熵
Harry的博客
07-01 749
1 信息量 首先是信息量。假设我们听到了两件事，分别如下： 事件A：巴西队进入了2018世界杯决赛圈。 事件B：中国队进入了2018世界杯决赛圈。 仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关。 假设XX是一个离散型随机变量，其取值集合为χχ,概率分布函数p(x)=Pr(X=x),x∈χp(x)=P
信息论基础--信息量与熵
最新发布
m0_59977663的博客
03-15 1601
在介绍熵的概念前，我们先引入一些前导概念如何理解自信息，我们可以从以下几个角度切入对于事件集合X={x1,x2,x3....xn}X=\lbrace x_1,x_2,x_3....x_n \rbraceX={x1​,x2​,x3​....xn​}，其中某一事件xix_ixi​发生的概率为pip_ipi​，则自信息量的定义为：其中 I(xi)⩾0I(x_i) \geqslant 0I(xi​)⩾0，且随pip_ipi​减小而增大。(底数为2时，自信息的单位是bit)那什么是条件自信息呢？ 倘若事件Y发生后收
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值