信息熵是什么呢？_csdn属于什么类型的网站图像信息熵定义-CSDN博客

本文链接：https://blog.csdn.net/ding_programmer/article/details/89785319

什么是信息？

信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。

信息量的度量：

一般情况，我们用概率的倒数的对数函数来表示某一个事件（某一个符号）出现所带来的信息量。

每个符号的自信息量: $I(ai)=log(1/p)$ ，单位是bit

信息熵：每个信息量的数学期望 : $H(x)=E(log(1/p))$ ，就是其概率对应的相乘相加！！

别急，你可能只是从数学公式上，看到信息熵怎么得来的，现在，我想用一个例子更好的引入信息熵。

信息熵的引入

直觉上，信息量等于传输该信息所用的代价，这个也是通信中考虑最多的问题。比如说：赌马比赛里，有4匹马 $\{A,B,C,D\}$ ，获胜概率分别为 $\{\frac{1}{2},\frac{1}{4},\frac{1}{8},\frac{1}{8}\}$ 。

接下来，让我们将哪一匹马获胜视为一个随机变量 $X\in\{A,B,C,D\}$ 。假定我们需要用尽可能少的二元问题来确定随机变量 $\large X$ 的取值。

例如：问题1：A获胜了吗？问题2：B获胜了吗？问题3：C获胜了吗？最后我们可以通过最多3个二元问题，来确定 $\large X$ 的取值，即哪一匹马赢了比赛。

如果 X=A ，那么需要问1次（问题1：是不是A？），概率为 $\large \frac{1}{2}$ ；

如果 X=B ，那么需要问2次（问题1：是不是A？问题2：是不是B？），概率为 $\frac{1}{4}$ ；

如果 X=C ，那么需要问3次（问题1，问题2，问题3），概率为 $\frac{1}{8}$ ;

如果 X=D ，那么同样需要问3次（问题1，问题2，问题3），概率为 $\frac{1}{8}$ ；

那么很容易计算，在这种问法下，为确定 X 取值的二元问题数量为：

$E(N)=1 \cdot \frac{1}{2}\ +2 \cdot \frac{1}{4} + 3 \cdot \frac{1}{8} + 3 \cdot \frac{1}{8} = \frac{7}{4}$

那么我们回到信息熵的定义，会发现通过之前的信息熵公式，神奇地得到了：

$H(X)=\frac{1}{2}log(2)\ +\frac{1}{4} log(4)\ +\frac{1}{8}log(8)\ +\frac{1}{8}log(8)=\frac{1}{2}+\frac{1}{2}+\frac{3}{8}+\frac{3}{8}=\frac{7}{4}\mathrm{bits}$

在二进制计算机中，一个比特为0或1，其实就代表了一个二元问题的回答。也就是说，在计算机中，我们给哪一匹马夺冠这个事件进行编码，所需要的平均码长为1.75个比特。

平均码长的定义为： $L(C)=\sum\limits_{x\in\mathcal{X}}p(x)l(x)$

很显然，为了尽可能减少码长，我们要给发生概率 $p(x)$ 较大的事件，分配较短的码长 $l(x)$ 。这个问题深入讨论，可以得出霍夫曼编码的概念。

那么 $\{A,B,C,D\}$ 四个实践，可以分别由 $\{0,10,110,111\}$ 表示，那么很显然，我们要把最短的码0 分配给发生概率最高的事件 A ，以此类推。而且得到的平均码长为1.75比特。如果我们硬要反其道而行之，给事件A 分配最长的码111 ，那么平均码长就会变成2.625比特。