分类树（信息熵与基尼指数）

一，决策树的直观理解

二，分类树

2.1 信息熵

信息熵是用来衡量信息不确定性的指标，不确定性是一个事件出现不同结果的可能性。（越小越好）
计算如下：

其中：P(X=i)为随机变量x取值为i的概率

举个例子，如下：

可以看出，第一种的不确定性更高（信息熵较大）

2.2 条件信息熵

条件熵：在给定随机变量Y的条件下，随机变量X的不确定性

信息增益：信息熵 - 条件熵，代表在一个条件下，信息不确定性的减少程度