信息熵:
信息熵:又被称为香农熵,因为是香农将人力学的熵引入到信息论。
公式:
注:因为概率为小数,所以负号的目的是将log运算的结果变为正数。
或者
例:
一支小组4个球队(a、b、c、d),出现的概率分别为
pi=(12,14,18,18)
p
i
=
(
1
2
,
1
4
,
1
8
,
1
8
)
。
信息熵计算过程如下:
公式一:
=
(−1)12log212+(−1)14log214+(−1)18log218+(−1)18log218
(
−
1
)
1
2
l
o
g
2
1
2
+
(
−
1
)
1
4
l
o
g
2
1
4
+
(
−
1
)
1
8
l
o
g
2
1
8
+
(
−
1
)
1
8
l
o
g
2
1
8
=
12log22+14log24+18log28+18log28
1
2
l
o
g
2
2
+
1
4
l
o
g
2
4
+
1
8
l
o
g
2
8
+
1
8
l
o
g
2
8
=
12+12+18+18
1
2
+
1
2
+
1
8
+
1
8
=
74
7
4
公式二与公式一类似,不再推导。
结论:
此题的信息熵为1.75。