首先在介绍信息论之前,有必要提一下信息论之父,克劳德·艾尔伍德·香农(Claude Elwood Shannon,1916年4月30日-2001年2月26日)。他是美国著名的数学家、电子工程师、密码学家。1948年,香农发表了划时代的论文-《A Mathematical Theory of Communication》,奠定了现代信息论的基础。
引言
问题:给定两个离散分布,如何衡量他们之间的相似度?连续的随机变量,又如何衡量相似度?
答:信息论!
下面介绍信息论的一些基本概念。
熵
熵,Entropy,在化学和热力学中是用来描述系统的混乱程度的量。香农巧妙的将其用于信息论,表示数据的混论程度。假设X是离散的随机变量,它的概率质量函数(p.m.f)p(X=si)=ai。那么随机变量X的熵定义如下:
H(X)=−∑xp(x)log2p(x)
此处熵的单位叫做比特bit。很显然,当X服从0-1分布时,H(X)=0;当X服从离散均匀分布时,
H(X)=log2m
其中m为X的不同取值个数。当然,如果X是连续随机变量的话,我们就需要使用积分来替换求和。定义如下:
h(X)=−∫xp(x)lnp(