转:http://ziketang.com/2013/08/some-notions-about-entropy/
关于这些概念看过很多次了,但一直都记不住,索性用笔记形式记下来备查吧。
1. 熵Entropy
关于熵的基本概念就不说了,可以认为是用来描述随机变量的不确定性,也可以说是用来描述随机变量平均信息量(信息量用编码长度表示,熵即为编码长度的期望形式)。公式如下:
当 a=2 时,即熵的单位为比特。可以看到,当有必然事件 p(x)=1 发生时,熵值达到最小值0;当所有概率均相等时,熵值达到最大。
2. 联合熵Joint Entropy、条件熵Conditional Entropy
设
X,Y
是两个离散型随机变量,它们的联合分布密度为
p(x,y)
,则
X
和
Y
的联合熵定义为:
条件熵定义为:
3. 互信息Mutual Information
根据以上的定义,有链式规则:
证明如下:
同理交换 X 和 Y 则可证明 H(X,Y)=H(Y)+H(X|Y) 。
同时,根据链式规则可推导出互信息的定义:
根据定义,可推导出:
互信息用来描述包含在X中有关Y的信息量,或包含在Y中有关X的信息量,在形式上可理解为在确定了其中的 Y 后 X 的熵值保留。
根据互信息,可以来判定相关性:
– 当
MI(X,Y)>>0
时,
X
和
Y
高度相关;
– 当
MI(X,Y)=0
时,
X
和
Y
相互独立;
– 当
MI(X,Y)<<0
时,
X
和
Y
互补相关。
两个集合A,B,其中A代表 H(X) ,B代表 H(Y) ,交集为 MI(X,Y) ,并集为 H(X,Y) 。
4. 交叉熵Cross Entropy
设随机变量
X
的分布密度为
p(x)
,在很多情况下该密度是未知的,通过使用统计手段得到
X
的近似分布
q(x)
,则将随机变量
X
的交叉熵定义为:
形式上可以理解为使用 q(x) 来代替原来 p(x) 的信息量。
5. 相对熵Relative Entropy
设
p(x)
、
q(x)
是随机变量
X
的两个不同分布密度,则它们的相对熵定义为:
相对熵一般也称为Kullback-Leibler散度或Kullback-Leibler距离,可以用来度量一个随机变量不同分布的差异程度,描述了因为错用分布密度而增加的信息量。
参考:
[1] 常宝宝, 熵和语言模型评价, 北京大学计算语言学研究所, http://www.icl.pku.edu.cn/member/chbb/lecture/CL/Computational_Linguistics_04.pdf
====更正===
2014-03-29 互信息与相关性的关系错误,该处在参考P11页中应为点互信息。正确的互信息与相关性关系:当相关性为+/-1时,互信息趋于无穷;当相关性为0时,互信息为0。感谢@pbqy网友指正