决策树分类指标（信息增益ID3）

1.信息量=熵=不确定性

在决策树中熵代表不纯度，熵越高代表数据越不纯，熵更小，就更容易把数据更好的分开。

信息增益就是父节点的信息熵-子节点的信息熵

2.计算公式：

举例：

分类之前的整体熵：

按性别分类：

按照活跃度分类同样的计算方式再得到一个信息增益

 比较活跃度的信息增益和性别的信息增益发现活跃度信息增益远大于性别的信息增益，所以选择活跃度信息增益作为分类指标。

在实际使用中，感觉基尼系数还是比信息熵快一点，毕竟求信息熵有一个log。