信息熵——Information Entropy

一：信息的不确定性

首先请看如下的两条信息：

• 太阳从东边升起。
• 提问20个问题猜出我心中正在想的东西。（没有听过这个游戏的朋友请自行度娘或者谷歌，会出现不同的版本，但具体的含义都是一样的）

第一条信息：
我们可以很确定的得出这句话的含义——太阳从东边升起，这是一条不确定性为零的信息。

第二条信息：
这是一条信息不是特别明确的信息，具有一定的不确定性，因为我们不能直接从信息中获取相应的确定信息，我们需要通过相应的手段（了解第二条信息的手段是提问）去了解更多的信息才能够得到这条信息最终想要表达的内容。

通过以上两条信息的对比，相信大家可以对信息的不确定性有一定的了解。

二：信息熵的基本介绍

信息熵又被称为香农熵，是香农提出的，用于解决信息的量化度量问题的。

在信息论中，熵被用来衡量一个随机变量出现的期望值。他代表了在接受之前，信息传输过程中损失的信息量，又被成为信息熵。信息熵也称信源熵、平均自信量。

信息熵的熵是源自于热力学。在热力学中熵的定义是系统可能状态数的对数；其物理含义是体系混乱程度的度量。而熵在信息论中代表随机变量不确定度的度量。

信息熵认为一条信息的信息量大小和它的不确定性有直接的关系。具体的话我们已经在一中讲解完毕，结合二者后，可以认为信息量的度量就等于不确定性的多少。

信息的基本作用就是消除人们对事物的不确定性。

三:信息熵的数学解释

一个离散型随机变量X的熵H(X)的定义为：

$$H(X) = -\sum_{x \in\Bbb X}p(x)\log p(x)$$

3.1 特点
有明确定义的科学名词且与内容无关，而且不随信息的具体代表式的变化而变化。是独立与形式，反应信息表达式中统计方面的性质。是统计学上的抽象概念。

值得一提的是，如果公式中的log是以2为底计算出来的，那么计算出来的信息熵单位即为”bit“，这一术语在Shannon的著名论文A Mathematical Theory of Communication，有兴趣的话，可以看一下。

3.2 事例
赌马比赛里，有4匹马{A，B，C，D},获胜的概率分别为${\frac12，\frac14，\frac18，\frac18}$。

那么接下来我们将获胜视为一个随机变量 X∈{ A，B，