【机器学习】信息熵的理解

信息量的理解

  信息量是对信息的度量，是指某个事件发生时我们所接收到的信息量的多少。信息的大小跟随机事件的概率有关。越小概率的事件发生了产生的信息量越大，越大概率发生事件发生了产生的信息量越小。
  “太阳从东边升起”，是一个必然事件，其概率为1，当它发生时，我们不能从其中提取出对我们有什么用的信息，所以它的信息量为0。
  “太阳从西边升起”，是一件几乎不可能事件，其概率接近0，当它发生时，我们便会获得大量的信息，比如是不是地球自转方向改变了哇，或者是太阳开始绕着地球转了哇，可以说给我们带来的信息是无穷无尽的，可以说它的信息量为$+\infty$。
  又比如“明天会下雨”，这是一个不确定的事件，它的概率为(0, 1)，即非可能又非绝对，因此当它发生的时候，会给我们带来有限的信息，比如明天要带伞，天气可能要变凉了等等。

信息量的定义

  由上面的例子可以知道，信息量与事件发生的概率成反比，其区间为[0, $+\infty$],所以我们定义信息量的公式如下
$$I(x_i)=-{\log }_{2}p(x_i)$$其中$x_i$表示随机变量，$p(x_i)$表示$x_i$的概率。

例如某地二月份天气的概率分布统计如下：
$$\left\{\begin{array}{c}X\\ P(X)\end{array}\right\}=\left\{\begin{array}{cccc}{x}_1(晴),& x_2(阴),& x_3(雨),& x_4(雪)\\ 1/2,& 1/4,& 1/8,& 1/8\end{array}\right\}$$这四种气候的信息量分别为$I(x_1)=1bit，I(x_2)=2bit，I(x_3)=3bit，I(a_4)=3bit$
解释:随机变量$x$表示天气，$x_1$表示晴天，$p(x_1)$表示为晴天的概率为$1/2$，那么晴天的信息量就为$I(x_1)=-{\log }_2(1/2)=1bit$ (bit为信息量的单位)，其他的依次类推。

信息熵

  信息量度量的是一个具体事件发生所带来的信息，而熵则是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。即
$$H(x)=-\sum _i^{n}p(x_i)lo{g}_{2}p(x_i)$$信息熵是用来衡量事物不确定性的。信息熵越大，事物越具不确定性，事物越复杂。

例如，你抛一枚硬币，便只有正负两个结果，其信息熵$H(x)=-0.5{\log }_{2}0.5+0.5{\log }_{2}0.5=1$，而如果你抛一个骰子，其有6种结果，其信息熵为$H(x)=-{\sum }_1^{6}1/6{\log }_2(1/6)=2.5849$，因此抛骰子时的不确定性更大，也更复杂。