机器学习实战之决策树

简介：

决策树是一类常见的机器学习方法，以二分类任务为例，我们希望从给定训练数据集学得一个模型用以对新数据进行分类，比如通过一组数据通过模型训练得到以下的决策树：

理论：

决策树学习的关键是如何选择最优划分属性，一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的“纯度”越来越高。

1、信息熵

熵定义为信息的期望值，在明晰这个概念之前，我们必须知道信息的定义。如果待分类的事
务可能划分在多个分类之中，则符号$x_i$ 的信息定义为

$l(i)=-log_2p_i$

其中$p_i$是当前样本集合D中第i类样本所占的比例。

为了计算熵，我们需要计算所有类别所有可能值包含的信息期望值，通过下面的公式得到：

$H=-\sum _{i=1}^np_ilog_2p_i$

其中n是分类的数目,H的值越小，则数据纯度越高。

2、信息增益

假定当前样本集D按照属性a来分类，a的属性取值有 (a1,a2,