信息熵

信息熵是描述信息的混乱程度，也叫不确定程度。计算公式如下：

根据公式可以得出以下2个重要的结论（理解这两个结论，为后续理解决策树很有帮助哦）：

1.信息熵事件可能出现的结果数量有关，在概率均等的情况下，存在的可能越多，信息熵越大，即事件的不确定性越大。

例如：

随机抛一枚硬币，出现结果为正面、负面的概率分别为均为1/2。信息熵为：

随机投掷一枚骰子，出现点数1、2、3、4、5、6的概率均为1/6。信息熵为：

显然，概率均等的情况下，投硬币的信息熵小于投掷骰子的信息熵。即后者的信息的不确定性更大。这与我们的常识是一致的，猜对硬币的结果是50%，而猜对骰子的结果是1/6。

2.信息熵与事件的概率分布有关，概率分布越均匀，信息熵越大。当所有概率均等的情况下，信息熵越大。其实这也很好理解，回到信息熵的定义：信息熵是描述信息的不确定性。

例如，我问你明天的会下雨吗。你说，明天下雨的概率为50%，不下雨的概率也是50%。其实，就跟没说一样，这时候的信息不确定性是最大的，信息熵为1。而如果你告诉我，明天下雨的概率为80%，那么不下雨的概率为20%，那我就知道我最好明天出门要打伞，信息熵为：。可以通过数学公式证明。这里暂时先不给出证明过程。