信息熵

信息熵

信息熵是对某一件事件的发生各种结果的信息量的期望值。

熵越小，意味着这个事件的不确定性越小，即我们得到事件结果的代价越小。相反，熵越大，事件的随机性越强，得到事件结果的代价也随之增加。另一种理解可以用编码来解释，信息熵表示了描述一件事件的发生结果的平均编码长度。

$$H(X) = - \sum_{i}p(x_i)log{p(x_i)}$$

公式的理解

首先公式的原型其实是：

$$H(X) = \sum_{i}p(x_i)log{\frac 1 {p(x_i)}}$$
其中 $log{\frac 1 {p(x_i)}}$表示事件 $x_i$的信息量。 分数的可以用-1次方表示，可以利用对数的性质将-1提前即可。
1. 为什么采用log的形式呢？
一是它的单调性问题，即p(xi)越大，其该函数值越小。相反，p(xi)越小，其该函数值越大。正好对应信息论的观点：
- 某一事件发生概率越大，它所带来的信息量就越小。比如有人跟说你一年有12个月，你是不是想说，卧槽，你这不是废话！说明该事件的信息量对你来说很小，进一步说明该事件的正确性越强。
- 某一事件发生概率越小，它所带来的信息量就越大。比如现在是夏天，有人跟你说明天下雪，你会不会很惊讶，觉得不可思议！那么这件事对你来说就是信息量很大，吸引了你的注意力。即小概率事件的信息量很大，进一步说明该事件的正确性越弱。

二是因为取对数可以获得描述该事件信息量的位数表示，并且一般以2为底。这是因为在计算机一般采用2进制编码，每一位只有0或1，所以采用以2为底取对数。这样我们就可以用位数来衡量一个事件所需的平均码长。这里可以联想到哈夫曼编码，对发生概率高的事件采用短码长，对发生概率低的事件采用长码长，以达到数据压缩的效果。
2. 那上述公式为什么那样写呢？
我们已经知道了一个事件其中一个结果的信息量的数学表达形式了。但这件事件肯定有多个结果啊，我们怎么来衡量这一事件的信息量呢？取期望啊，这不就是我们在统计学上所学的知识，变量X的取值有多个，但如果我们想用一个单值来度量变量X，这就引入了期望的概念。所以信息熵的表达式其实就是事件各个结果信息量的期望值。用一个单值来度量多个结果的事件的信息量、不确定性和随机性。

应用

决策树算法（ID3)

采用信息增益作为属性选择度量，优先选择的属性具有以下优点：
1. 可以使当前数据集合划分后的信息量最小，即不确定性最弱，也就是说划分后的数据越“纯”。
2. 通过该属性来划分当前数据的所需的码长（可以理解为代价）越短。
3. 信息增益告诉我们本次划分我得到的信息量有多少，当然优先选择得到信息量最多的那一个啊。这样我们对于样本分类所需的信息量就少了许多。等价于在“能做最佳分类”的属性A上划分，使得完成样本分类还需要的信息最小。