信息论中的熵

最新推荐文章于 2020-06-03 10:50:53 发布

Ezrealmore

最新推荐文章于 2020-06-03 10:50:53 发布

阅读量1.2k

点赞数

本文为博主原创文章，转载时请注明出处链接。

本文链接：https://blog.csdn.net/lk7688535/article/details/52529216

版权

概念

在信息论中，熵表示的是不确定性的量度。也可以表示为描述一个随机变量的不确定性的数量。

一个随机变量的熵越大，它的不确定性越大。那么，正确估计其值的可能性就越小。越不确定的随机变量越需要大的信息量用以确定其值。

所以熵也可以称为一个变量包含的信息量的大小。

另一种解释，参考
http://blog.csdn.net/qtlyx/article/details/50819094

如果有一个系统S内存在多个事件S = {E1,…,En}, 每个事件的机率分布 P = {p1, …,pn}，则每个事件本身的讯息为
　 $Ie = − log2pi$
　　（对数以2为底，单位是位元(bit)）
　 $Ie = − lnpi$
　　（对数以e为底，单位是纳特/nats）
　　如英语有26个字母，假如每个字母在文章中出现次数平均的话，每个字母的讯息量为
　 $I_e = -\log_2 {1\over 26} = 4.7$
　　；而汉字常用的有2500个，假如每个汉字在文章中出现次数平均的话，每个汉字的信息量为
$I_e = -\log_2 {1\over 2500} = 11.3$
　　整个系统的平均消息量为
$H_s = \sum_{i=1}^n p_i I_e = -\sum_{i=1}^n p_i \log_2 p_i$

　这个平均消息量就是消息熵。因为和热力学中描述热力学熵的玻耳兹曼公式形式一样，所以也称为“熵”。

公式：

H(Y)=- $\int_yP(Y)logP(Y)$

另一种：

熵H(X)=-Σx∈Ωp(x)logxp(x)

假设PX(x)是随机变量X的分布
基本输出字母表是Ω
单位：bits
熵是X的平均信息量，是自信息量的期望
E(X)=Σx∈Ω p(x) x
I(X)=-logp(x)，取2为底，I(X)=-log2p(x)
E(I(X)=E(-log2p(x))= Σx∈Ω p(x)(-log2p(x)) = H(X)
H(X)=H(p)=Hp(X)=HX(p)=H(pX)

熵的例子
• 掷均匀硬币，Ω={H,T}
p(H)=.5, p(T)=.5
H(p)=-0.5log20.5 (-0.5log20.5)=1
• 32面的均匀股子，掷股子
H(p)=-32((1/32)log2(1/32))=5
• 事实上，掷的次数21=2, 25=32(perplexity)
• 掷不均匀硬币
p(H)=0.2, p(T)=0.8, H(p)=0.722（不确定性更大）
p(H)=0.01, p(T)=0.99, H(p)=0.081

什么时候H(p)=0?
– 试验结果事先已经知道
– 即：∃x∈Ω, p(x)=1; ∀y∈Ω, p(y)=0 if y≠x
• 熵有没有上限？
– 没有一般的上限
– 对于|Ω|=n，H(p)≤-log2n
– 均衡分布的熵是最大的

等概率分布
– 2个输出的等概率分布，H(p)=1bit
– 32个输出的等概率分布，H(p)=5bits
– 43亿输出的等概率分布，H(p)=32bits
• 非等概率分布
– 32个输出，2个0.5，其余为0，H(p)=1bit
– 怎样比较具有不同数量输出的“熵”?困惑度(perplexity)

困惑度(perplexity)即混乱度
G(p)=2的H(p)次方，在NLP中，如果词表中的词具有统一的分布概率，则最难预测，熵最大，混乱度最高
反之，分布越不均衡，熵越小，混乱度越小

联合熵(joint entropy)
如果X, Y 是一对离散型随机变量X, Y ~ p(x, y)，X, Y 的联合熵H(X, Y) 为：
(X,Y)被视为一个事件
H(X,Y)=-Σx∈Ω Σ y∈Ψp(x,y)log2p(x,y)
联合熵实际上就是描述一对随机变量平均所需要的信息量
联合熵(joint entropy)
如果X, Y 是一对离散型随机变量X, Y ~ p(x, y)，X, Y 的联合熵H(X, Y) 为：
(X,Y)被视为一个事件
H(X,Y)=-Σx∈Ω Σ y∈Ψp(x,y)log2p(x,y)
联合熵实际上就是描述一对随机变量平均所需要的信息量