香农熵

通常，一个信号源发送出什么符号是不确定的，衡量它可以根据其出现的概率来进行度量。概率大，出现的机会大，不确定性小；反之，概率大，出现的机会大，不确定性小。

1.定义不确定性为函数 f ，事件X出现的概率为P，则 f 是P的减函数；

2.两个独立的符号产生的不确定性应等于各自的不确定性之和，即，这称为可加性。

同时满足这两个条件的函数 f 是对数函数，即

对于事件X，有n中可能结果，且概率分别为：

则香农熵的表达式为：