算一串数字的entropy_科学网—信息熵只是一个数量 - 夏香根的博文

信息熵只是一个数量

许秋雨，2019年10月26日

数学的重要任务(如果不算是最重要的任务)之一就是数学表示及量化，使得可量，可算，可比等。比如，对随机变量的表示和量化就是概率论。

要完全刻画一个随机变量，那就需要它的概率分布函数或者密度函数。遗憾的是，概率分布函数或者密度函数是一个函数，它不易被利用，如跟别的随机变量做比较，也不易被刻画。为了应用方便起见，人们就利用它的一些简单化后的数量，如期望，即均值，又如方差，等等。这些都具体到一个数值，好计算，好比，也好用。

信息熵(Information Entropy)也只是关于随机变量的一个数量，一个香农为数字通信发明的数量。一般来说，它就是在平均意义下，要用多少个比特来表示一个随机变量的概念。

对一个正整数 p来说，如果用人为的二进制来表示它，约需要 log(p) 个比特来表示。如果 p是一个小于1的正数，那它的倒数就是一个大于1的数，这样就可以用二进制来表示它的倒数，即用约 log(1/p)= -log(p)个比特来表示 p的倒数，或者等价于说 p了。

如果一个随机变量的密度函数是 pi，i是非负整数指标，如上面所说，可用约 -log(pi)  个比特来表示概率值 pi。所以对所有概率值来说，在平均意义下约需要用

∑i-log(pi) pi

个比特来表示它们。这正是这个随机变量的信息熵，也正好确确实实是表示这个随机变量的平均比特数，而哈夫曼编码法就是一个构造性的证明。

您也许会说，上面说的只是离散随机变量。但是正