决策树和信息熵

有没有玩过或听过这样一个游戏：参与游戏的一方在脑海里想好某个事物，然后其他参与者向他提问，回答者只能回答是还是不是。问问题的人通过答案推理，不断缩小待猜事物的范围。

其实上面的过程就类似于决策树的工作原理。

就像上面那个游戏，关键点在于如何问问题，那决策树的关键，就在于如何划分数据集。

划分数据集的大原则就是：将无序的数据变得更加有序。那用什么衡量有序和无需呢？就是信息熵。

要说信息熵，先说说信息量。信息量的公式如下：

其中p(x)是事件发生的概率。从公式可以看出，概率越大，信息量越小。显然是这样，我如果说太阳从东边升起，没什么信息量。如果我说太阳从西边升起，那信息量就太大了。