香农熵代表了搞清楚一个事件所需要的信息量的大小，其计算公式为:
H
(
x
)
=
−
∑
p
(
x
)
l
o
g
p
(
x
)
H(x)=-\sum p(x)logp(x)
H(x)=−∑p(x)logp(x)
其中log表示对数，通常使用二进制对数（底数为2）。
例：假如雨量等级定义为1到16级,计算明天下雨这一事情的信息熵。
如果我们假设每个等级的概率相等（即每个等级有相同的可能性），那么信息熵的计算将最大化。在这种情况下，每个等级的概率为
1
16
\frac{1}{16}
161。因此，计算信息熵：
H
=
−
∑
i
=
1
16
(
1
16
l
o
g
2
(
1
16
)
)
H
=
−
16
(
1
16
l
o
g
2
(
1
16
)
)
H
=
−
16
(
1
16
⋅
(
−
4
)
)
H
=
4
b
i
t
s
H=-\sum^{16}_{i=1}(\frac{1}{16}log_{2}(\frac{1}{16})) \\ H=-16(\frac{1}{16}log_{2}(\frac{1}{16})) \\ H=-16(\frac{1}{16} \cdot(-4)) \\ H=4 \space bits
H=−i=1∑16(161log2(161))H=−16(161log2(161))H=−16(161⋅(−4))H=4 bits
因此，如果每个等级的概率相等，明天下雨这一事情的信息熵为4比特。同理可得，扔一枚硬币，共有两种可能性（正面和反面），这一事件的信息熵可达2比特。投掷一枚8面的骰子的信息熵为3比特。
扫一扫
1384
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
