信息熵、条件熵、相对熵

17人阅读 评论(0) 收藏 举报
分类:

以前在学习通信原理,信息论时都学习过这样的原理,但是不能从根本理解这样的公式有什么用,能解决什么问题。例如,笔者最近在看用信息论里条件熵来检测图像视频的显著性,一直就不明白这两样东西怎么就放在一块了。后面在《数学之美》,在书中看到了这些公式能够解释什么问题时,才有所领悟~~~

1,信息熵(Entropy)
     公式大家都不陌生吧:
P(x)是变量出现的概率;以前我们可以就学到此就为止了,那个信息熵在感性来看来表达的是什么东西呢?
信息熵越大,变量中包含的信息量就越大。同时,也说明了变量的不确定性也越大

书中写到“一个事物内部会存在随机性,也就是不确定性,而从外部消除这个不确定性唯一的办法是引入信息。如果没有信息,任何公式或者数字的游戏都无法排除不确定性。几乎所有的自然语言处理,信息与信号处理的应用都是一个消除不确定性的过程。”
合理利用信息,而不是玩弄什么公式和机器学习算法,是做好搜索的关键。

2,条件熵(Conditional Entropy)
知道的信息越多,随机事件的不确定性就越小。
书中定义:在Y条件X的条件熵:(二元模型)

可以证明:                       
也就是说,引用了其他信息后,信息的不确定性降低了,“=”表示引入的信息对于X无关的,所以信息的不确定性不会改变。
(三元模型)


3,互信息(Mulual information)
也就是用来衡量两个信息的相关性大小的量。


4,相对熵
相对熵也是用来衡量相关性的,但和变量的互信息不同,它用来衡量两个取值为正数的函数的相似性。
结论:
1)对于两个完全相同的函数,它们的相对熵为0;
2)相对熵越大,两个函数的差异越大,反之 ,相对熵越小,两个函数差异越小;
3)对于概率分布或者概率密度函数,如果取值均大于0,相对熵可以衡量两个分布的差异性。

启示:
1)去计算一个变量的不确定性,可以考虑信息熵;在研究显著性时,可以用信息熵去计算一个区域的信息量的大小,近而来判断其为显著性区域或者像素点的可能性;
2)计算两个变量之间的相关性,可以考虑条件熵;


查看评论

Excel条件格式实战视频课程【你学得会】

-
  • 1970年01月01日 08:00

信息熵,条件熵,相对熵

信息熵,条件熵,相对熵 Last Edit 2013/12/30  以前在学习通信原理,信息论时都学习过这样的原理,但是不能从根本理解这样的公式有什么用,能解决什么问题。例如,笔者最近在看用信息论里条...
  • jxlijunhao
  • jxlijunhao
  • 2013-12-31 08:52:37
  • 7536

信息熵 交叉熵 相对熵 条件熵

根据香农公式,信息量等于log(1p)log(\frac{1}{p}); 交叉熵常作为机器学习中的损失函数。 信息熵 熵的本质是信息量的期望: H(p)=∑ip(i)∗log(1p(...
  • lmm6895071
  • lmm6895071
  • 2017-08-18 10:24:06
  • 473

一文总结条件熵、交叉熵、相对熵、互信息

条件熵:H(Y|X)表示在已知随机变量X的条件下,随机变量Y的不确定性,H(Y|X)定义为:举个例子:有一堆西瓜,已知这堆西瓜的色泽,以及每种色泽对应好瓜和坏瓜的个数,如下所示,设X表示色泽,Y表示好...
  • Hearthougan
  • Hearthougan
  • 2017-09-07 22:13:40
  • 1020

数学之美--信息的度量和作用--信息熵,条件熵和交叉熵

保留初心,砥砺前行 这一章节讲解的是关于信息的某些度量。 我们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。……直到1948年,Shannon在他著名的论文“通信的数学原理”中提出了...
  • yinruiyang94
  • yinruiyang94
  • 2017-08-26 12:29:18
  • 691

熵、联合熵、条件熵、交叉熵与相对熵意义

熵:H(X)=−∑xp(x)lnp(x)H(X)=-\sum_x p(x)lnp(x) 衡量不确定性的度量 联合熵: H(X,Y)=−∑x,yp(x,y)lnp(x,y)H(X,Y)=-\sum_{...
  • u013713117
  • u013713117
  • 2017-02-14 14:46:11
  • 5069

信息量、熵、最大熵、联合熵、条件熵、相对熵、互信息

一直就对机器学习中各种XX熵的概念比较模糊,现在总结一下自己的学习心得。 信息量 先说一下信息量的概念,其实熵就是信息量的集合。 摘抄个例子: 英文有26个字母,假设每个字母出现的概率是一样的...
  • sunshihua12829
  • sunshihua12829
  • 2015-01-26 20:11:47
  • 6100

信息熵、条件熵、信息增益

信息增益描述了一个特征带来的信息量的多少,往往用于特征选择信息增益 = 信息熵 - 条件熵一个特征往往会使一个随机变量Y的信息量减少,减少的部分就是信息增益一个例子如图所示,目标值是:playtenn...
  • xtingjie
  • xtingjie
  • 2017-05-07 12:32:30
  • 1768

【基本概念】信息熵 条件熵 联合熵 左右熵 互信息

1 自信息 一个信源可按某种概率发出若干不同的信号,每个信号带有的信息量称为其自信息。 信源:随机变量;信号:随机变量的取值。 基于定性分析,自信息的特性应当是:非负、递增。 具有这样的特性的函数有很...
  • Erli11
  • Erli11
  • 2014-03-20 12:18:38
  • 12894

信息论基本概念(熵、联合熵、条件熵、相对熵、互信息)讲述与推导

熵(Entropy) ​ 熵是随机变量的不确定性的度量。设 X " role="presentation"> X  X \ X\ 是一个离散的随机变量,其取值空间为&#xA0...
  • Recall_Tomorrow
  • Recall_Tomorrow
  • 2018-01-17 18:06:44
  • 283
    个人资料
    持之以恒
    等级:
    访问量: 567
    积分: 241
    排名: 31万+
    文章存档