机器学习之决策树模型

在实现决策树模型之前，先需要了解信息的熵，熵被定义为信息的期望值，下面说明信息熵的计算方法：

         假如事件发生的可能性包括A，B，C三类；那么计算分类A的熵按照以下方式

         L(A) = -log2P(A)

         其中L(A)为分类A的熵。P(A)为事件发生后是A类的概率（可能性）。那么所有类别的熵计算方式如下：

         H = -∑P(xi)log2P(xi)  其中P(xi)为i类别的概率。

如果给出一份待训练的数据集合，则可以根据以上公式计算出该数据集的信息熵，计算规则如下：

         1：根据分类标签，计算不同分类下的概率P

         2：利用最大熵计算原则计算该数据集的熵。

         以上是信息熵的基本概念。

下面说明信息增益的概念：

         信息增益是对信息前后变化量的描述，其计算方式为

         数据变化前的信息熵与数据变化后的信息熵之差，如果信息增益越大，说明变化后的数据信息熵减少，其数据