信息熵的计算公式_一起来学信息论（一）——信息熵

引子

信息是什么？

在香农的划时代论文发表前，我们对“信息”这个词的含义只有一个模糊的概念。香农针对“信息”给出了一个令人信服的定义，并且说明了如何对信息进行定量计算，并对这个定义给出了数学证明。之后，我们对“信息”的识别、传输、存储、加工等才有了坚实的数学基础；有了坚实的数学基础，才发展出各种工程应用。

因此，毫不夸张，信息论是计算机科学的基石理论之一。

信息熵

香农对信息的定义：信息是不确定性减少的度量。换句话说，“信息”，能减少事物的不确定性；如果一个“信息”对事物不确定性的减少没有任何作用，那么这个“信息”的信息量是0。

我非常喜欢这个定义。它如此简洁美妙、直指本质，简直已经超越数学，向哲学领域进军。香农真是划时代的天才。

以上只是定性的描述。更伟大的是，香农还给出了定量的计算公式：

信息熵H(X)= -Σp(x) logp(x)

其中p(x)是某件事情发生的概率。(这句话相对好理解但不够严谨，更严谨的说法应为p(x)是x的概率质量函数)

同时香农在论文中给出了证明，为什么信息熵公式应该是对数，应该是这个表达式。

以下为香农的证明，相对枯燥，对数学不感兴趣的可以跳过这段，直接看后面结论。

现有一系列随机事件 p1,p2,…,pn的集合，它们发生的概率已知