信息论小结

原创 2016年05月30日 19:53:44

信息论小结

joey 周琦

某个事件x发生的概率为p(x),那么该事件的信息量h(x)=logP(x)

  • 该定义满足h(x)>=0
  • 若事件x,y相互独立,那么

h(x,y)=logp(x,y)=logp(x)p(y)=h(x)+h(y)

熵:可以表示某个随机事件包含的信息量的期望

  • 熵=ipilogpi
  • 条件熵:H[y|x]=p(y,x)logp(y|x)
  • 互信息:I(x,y)=H(x)H(x|y)=H(y)H(y|x)
  • 决策树中的,information gain也就是互信息,即假设有数据集D,某特征A, IG(D,A)=H(D)H(D|A)

KL散度(kl divergence)

  • 若有一个未知分布p(x), 假设我们利用q(x)来逼近该分布,那么q(x)逼近p(x)的程度可以用KL divergence表示
  • KL(p||q)=p(x)logq(x)(p(x)logp(x))=p(x)logq(x)p(x)
  • 可以证明:KL散度不对称,>=0
  • 可以证明: I(x,y)=KL(p(x,y)||p(x)p(y))
版权声明: 本文为博主原创文章,未经博主允许不得转载

相关文章推荐

【信息论】信源与信息熵(二)

接上一节  第二章-信源与信息熵(一)   2.3 离散序列信源的熵 简介 1.        离散无记忆序列信源 a)        离散无记忆信源的序列熵 b)        离散无记...
  • zscfa
  • zscfa
  • 2016年10月15日 23:59
  • 1067

记信息论与编码之课设-哈夫曼编码

哈夫曼编码(Huffman Coding),又称霍夫曼编码,是一种编码方式,  夫曼编码是可变字长编码(VLC)的一种。Huffman于1952年提出一种编码方法,该方法完全依据字符出现概率来构造异...

PRML读书笔记(四):信息论基础

信息论的核心概念:熵足球竞彩是一种非常刺激的游戏,各种小道消息也非常值钱,比如大家都在打听2014年世界杯谁会是冠军。如果有人告诉你,巴西是冠军,这个消息值多少钱呢?应该不会很多吧,因为这件事发生的概...

信息论之哈夫曼编码

本为通信屌丝,实验仿真愈发深入,愈发感觉数据结构重要性。 借学习信息论信源编码之哈夫曼编码实验之时,练习一下哈夫曼树的构建,如有错误,还请指出 ps:限于本人英文水平,注释中英混杂,大家凑合看把=。=...

第3章 信息论基础

1. 通信系统的组成 信源:产生消息信道:传输消息信宿:接收消息 2. 基本概念 通信中对信息的表达分为三个层次:信号,消息,信息。 信号:是信息的物理层表达,可测量,可描...

信息论里的信息熵到底是什么含义?互信息的定义

让我们说人话!好的数学概念都应该是通俗易懂的。 信息熵,信息熵,怎么看怎么觉得这个“熵”字不顺眼,那就先不看。我们起码知道这个概念跟信息有关系。而它又是个数学模型里面的概念,一般而言是可以量化的。所...

《信息论与编码》学习笔记

第一章 信息论概述 基本概念: l 信息:一种抽象意识。认识的主体所感受的和所表达的事物的运动状态和运动状态变化的方式。 l 消息:包含有信息的语言、文字、图像等。 l 信号:消息的物理体现,...

David MacKay:用信息论解释 '快速排序'、'堆排序' 本质与差异

这篇文章是David MacKay利用信息论,来对快排、堆排的本质差异导致的性能差异进行的比较。 信息论是非常强大的,它并不只是一个用来分析理论最优决策的工具。 从信息论的角度来分析算法效率是一件...
  • cyh24
  • cyh24
  • 2012年10月21日 00:25
  • 3211

信息论 一般信道率失真函数求解证明,多重累加号求偏导数

在求解多重累加号求偏导数时,最重要是认清楚所需要求导的量是什么。仔细分来累加角标之间的歧义性。只要认清所需要的求导变量,再复杂的式子求导也是简单清晰的。 一般信道率失真函数求解的部分证明(仅仅是求导...

关于 信息熵/信息量/信息论/信息增益

信息量:从N个可能事件中选出一个事件所需要的信息度量或含量,也就是在辩识N个事件中特定的一个事件的过程中所需要提问"是或否"的最少次数. 信息熵:数学上颇为抽象的概念,是系统有序...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:信息论小结
举报原因:
原因补充:

(最多只允许输入30个字)