信息论——熵——信息熵

信息熵:

信息熵：又被称为香农熵，因为是香农将人力学的熵引入到信息论。

公式:

$$H(X)=-\sum_{i=1}^n p(x_i)log_2p(x_i)$$
注:因为概率为小数，所以负号的目的是将log运算的结果变为正数。
或者
$$H(X)=\sum_{i=1}^n p(x_i)log_2p(\frac{1}{x_i})$$

例:

一支小组4个球队(a、b、c、d)，出现的概率分别为$p_i=(\frac{1}{2},\frac{1}{4},\frac{1}{8},\frac{1}{8})$。
信息熵计算过程如下:

公式一:

=$(-1)\frac{1}{2}log_2\frac{1}{2}+(-1)\frac{1}{4}log_2\frac{1}{4}+(-1)\frac{1}{8}log_2\frac{1}{8}+(-1)\frac{1}{8}log_2\frac{1}{8}$
=$\frac{1}{2}log_22+\frac{1}{4}log_24+\frac{1}{8}log_28+\frac{1}{8}log_28$
=$\frac{1}{2}+\frac{1}{2}+\frac{1}{8}+\frac{1}{8}$
=$\frac{7}{4}$
公式二与公式一类似，不再推导。

结论:

此题的信息熵为1.75。