信息论小结

原创 2016年05月30日 19:53:44

信息论小结

joey 周琦

某个事件x发生的概率为p(x),那么该事件的信息量h(x)=logP(x)

  • 该定义满足h(x)>=0
  • 若事件x,y相互独立,那么

h(x,y)=logp(x,y)=logp(x)p(y)=h(x)+h(y)

熵:可以表示某个随机事件包含的信息量的期望

  • 熵=ipilogpi
  • 条件熵:H[y|x]=p(y,x)logp(y|x)
  • 互信息:I(x,y)=H(x)H(x|y)=H(y)H(y|x)
  • 决策树中的,information gain也就是互信息,即假设有数据集D,某特征A, IG(D,A)=H(D)H(D|A)

KL散度(kl divergence)

  • 若有一个未知分布p(x), 假设我们利用q(x)来逼近该分布,那么q(x)逼近p(x)的程度可以用KL divergence表示
  • KL(p||q)=p(x)logq(x)(p(x)logp(x))=p(x)logq(x)p(x)
  • 可以证明:KL散度不对称,>=0
  • 可以证明: I(x,y)=KL(p(x,y)||p(x)p(y))
版权声明: 本文为博主原创文章,未经博主允许不得转载

信息论学习

信息论(英语:Information theory)是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 信息论将信息的传递作为一种统计现...
  • ozhaohuafei
  • ozhaohuafei
  • 2014年02月27日 19:53
  • 2121

信息论中的各种熵

本文简单介绍了信息论中的各种熵,包括自信息、熵;联合熵、条件熵、互信息;KL散度、交叉熵。并在最后用信息论中的交叉熵推导了逻辑回归,得到了和最大似然法相同的结果。...
  • Young_Gy
  • Young_Gy
  • 2017年04月09日 08:30
  • 767

香农信息论与毒药称球问题

http://9yls.net/16959.html 如果从‘信息’的角度来分析某些问题,可以使你更登高望远,对问题能有更深层的理解,更容易融合各学科的间隙,达到借他山之石而攻玉的效果。 ...
  • legend_x
  • legend_x
  • 2014年01月20日 11:29
  • 1525

决策树-信息论

熵越高,则混合的数据类型越多,信息量越大。
  • lishuandao
  • lishuandao
  • 2016年09月14日 15:33
  • 354

机器学习中的一些信息论 information theory

机器学习中的一些信息论的知识:信息熵 ,联合熵,条件熵,相对熵,互信息...
  • light_lj
  • light_lj
  • 2016年08月15日 10:17
  • 1448

信息论基本概念

  • ha_qjq
  • ha_qjq
  • 2016年11月27日 15:39
  • 271

信息论中的编码及压缩基础

大脑是终极的压缩和通信系统。 ----《INFORMATION THEROY,INFERENCE,AND LEARNING ALGORITHMS》...
  • u010945683
  • u010945683
  • 2014年12月01日 14:48
  • 1052

机器学习中的概率和信息论

在本文中,我们讨论概率和信息论。概率论是用于表示不确定性陈述(statement) 的数学框架。它不仅提供了量化不确定性的方法,也提供了用于导出新的不确定性陈述的公理。在人工智能领域,我们主要以两种方...
  • u010976453
  • u010976453
  • 2017年01月12日 22:19
  • 740

谈谈编码 | 信息论

编码的基本过程假使我们现在要传输一段英文,为了传输的方便要对其进行编码。英文内容是:I love coding. 要编码首先要想好码符号,最常见的码符号是0和1,把不同的0和1的组合与英文语句的每个字...
  • Clifnich
  • Clifnich
  • 2016年11月06日 11:49
  • 426

信息论、最大熵模型

七月在线4月机器学习算法班课程笔记——No.8 1. 统计学习基础回顾1.1 先验概率与后验概率  先验概率:根据以往经验和分析得到的概率,如全概率公式,它往往作为”由因求果”问题中的”因”出现。 ...
  • JoyceWYJ
  • JoyceWYJ
  • 2016年06月16日 15:03
  • 2778
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:信息论小结
举报原因:
原因补充:

(最多只允许输入30个字)