决策树

划分数据集的最大原则是：将无序的数据变得更加有序。

在划分数据集之前之后发生的变化称为信息增益。

需要了解的几个名词，信息、熵（entropy）、信息增益（information gain）

熵定义为信息的期望值。

信息 ：如果待分类的事物可能划分在多个分类之中，则符号$x_i$的信息定义为
$$l(x_i)=-lo{g}_{2}p(x_i)$$
其中$p(x_i)是选择该分类的概率$；

为了计算熵，我们需要计算所有类别所有可能值包含的信息期望值，通过下面的公式可以得到：
$$H=-\sum _{i=1}^{n}p(x_i)lo{g}_{2}p(x_i)$$
其中n是分类的数目；

我们将对每个特征划分数据集的结果计算一次信息熵，计算信息增益，然后判断按照哪个特征划分数据集是最好的划分方式。