机器学习14 熵

正文

用熵来评估一个系统的复杂程度。对于分类问题，分类越多，信息熵越大，分类越少，信息熵越小。

信息熵理解与推导

参考 https://zhuanlan.zhihu.com/p/26486223

1）信息量推理过程
核心思想：信息的大小跟随机事件的概率有关。越小概率的事情发生了产生的信息量越大，如湖南产生的地震了；越大概率的事情发生了产生的信息量越小，如太阳从东边升起（肯定发生嘛概率为1，信息量0）。 小概率事件发生时，信息量很大。
如果我们有俩个不相关的事件x和y，那么我们观察到的俩个事件同时发生时获得的信息量h(x)应该等于观察到的事件各自发生时获得的信息之和，即：
h(x,y) = h(x) + h(y)

由于x，y是俩个不相关的事件，那么概率P满足p(x,y) = p(x)*p(y).

根据核心思想，概率越大，信息量越少，这两者之间有某种非线性关系。我们很容易看出h(x)一定与p(x)的对数有关（因为只有对数形式的真数相乘之后，能够对应对数的相加形式，可以试试）。因此我们有信息量公式如下：

下面解决俩个疑问？

（1）为什么有一个负号

其中，负号是为了确保信息一定是正数或者是0，总不能为负数吧！（概率区间0-1，信息量区间为>0）

（2）为什么底数为2

这是因为，我们只需要信息量满足低概率事件x对应于高的信息量。那么对数的选择是任意的。我们只是遵循信息论的普遍传统，使用2作为对数的底！

2）信息熵推理过程
核心思想：用熵来评估一个系统的复杂程度。对于分类问题，分类越多，信息熵越大，分类越少，信息熵越小。

n=1时， p=1, logp = 0 , H=0