机器学习之决策树算法（一）

0 引言

  决策树是一种基本的分类和回归方法。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。可以认为是if-then规则的集合，也可以认定是定义在特征空间与类空间上的条件概率分布。其主要特点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括3个步骤：特征选取、决策树的生成和决策树的修剪。

1 决策树模型与学习

1.1 决策树模型

  定义1：分类决策树模型是一种描述对实例进行分类的树形结构。决策树有结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶结点表示一个类。
  用决策树分类，从根结点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其子结点；这时，每一个子结点对应着该特征的一个取值，如此递归地对实例进行测试分配，直至达到叶结点。最后将实例分到叶结点的类中。
  图1展示了一个决策树的示意图，图中圆和方框分别表示内部结点和叶结点。
  

图1 决策树模型

1.2 决策树与if-then规则

  可以将决策树看成一个if-then规则的集合，见决策树转换为if-then规则的过程是这样的：有决策树的根结点到叶结点的每一天路径构建一条规则；路径上内部结点的特征对应着规则的条件，而叶结点的类对应着规则的结论。决策树的路径或去对应的if-then规则集合有一个重要的性质：互斥并且完备。这就是说，每一个实例都被一条路径或一条规则所覆盖，而且只被一条路径或一条规则所覆盖。这里的覆盖是指实例的特征与路径上的特征一致或实例满足规则的条件。

1.3 决策树与条件概率分布

  决策树还表示给定特征条件下类的概率分布，这一条件概率分布定义在特征区间的一个划分上。将特征区间划分为互不相交的单元或区域，并在每个单元定义的一个类的概率分布就构成了一个条件概率分布。决策树的一条路径对应于划分中的一个单元。决策树所表示的条件概率分布由各个单元给定条件下类的条件概率分布组成。假设$X$为表示特征的随机变量，$Y$表示类的随机变量，那么这个条件概率分布可以表示为$P(Y|X)$。$X$取值与给定划分下单元的集合，$Y$取值于类的集合。各叶结点（单元）上的条件概率往往偏向于某一类，即属于某一类的概率较大。决策树分类时将该结点的实例强行分到条件概率大的那一类去。

1.4 决策树学习

  决策树学习，假设给定训练数据集
D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } D=\{(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)\} D={ (x1​,y1​),(x2​,y2​),…,(xN​,yN​)}
其中，$x_i=(x_i^{(1)},x_i^{(2)},\dots ,x_i^{(n)}{)}^T$为输入实例（特征向量），$n$为特征个数， y i ∈ { 1 , 2 , … , K } y_i\in\{1,2,\dots,K\} yi​∈{ 1,2,…,K}为类标记，$i=1,2,\dots ,N$，$N$为样本容量。学习的目标是根据训练数据集构建一个决策树模型，使它能够对实例进行正确的分类。
  决策树学习本质上是从训练数据集中归纳出一组分类规则，与训练数据集不相矛盾的决策树（即能对训练数据进行正确分类的决策树）可能有多个，也可能一个都没有。我们需要的是一个与训练数据矛盾较小的决策树，同时具有很好的泛化能力。从另一个角度看，决策树学习是由训练数据集估计条件概率模型。基于特征空间划分的类的条件概率模型有无穷多个。我们选择的条件概率模型应该不仅对训练数据有很好的拟合，而且对未知数据有很好的预测。
  决策树学习用损失函数表示这一目标。如下所述，决策树学习的损失函数通常是正则化的极大似然函数。决策树学习的策略是以损失函数为目标函数的最小化。当损失函数确定以后，学习问题就变成为在损失函数意义下选择最优决策树的问题。因为从所有可能的决策树中选取最优决策树中选取最优决策树是NP完全问题，所以现实中决策树学习算法通常采用启发式方法，近似求解这一最优化问题。这样得到的决策树是次最优的。
  决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。这一过程对应着特征空间的划分，也对应着决策树的构建。开始，构建根结点，将所有训练数据都放在根结点。选择一个最优特征，按照这一特征将训练数据集分割成子集，使得各个子集有一个在当前条件下最好的分类。如果这些子集已经能够被基本正确分类，那么构建叶结点，并将这些子集分到所对应的叶结点中去；如果还有子集不能被基本正确分类，那么就对这些子集选择新的最优特征，继续对其进行分割，构建相应的结点，如此递归地进行下去，直至所有训练数据子集被基本正确分类，或者没有合适的特征为止。最后每个子集都被分到叶结点上，即都有了明确的类，这就生成了一颗决策树。
  以上方法生成的决策树可能对训练数据有很好的分类能力，但对未知的测试数据却未必有很好的分类能力，即可能发生过拟合现象。我们需要对已生成的树自下而上进行剪枝，将树变得简单，从而使它有很好的泛化能力。具体地，就是去掉过于细分的叶结点，使其回退到父节点，甚至更高的结点，然后将父节点或者更高的结点改为新的叶结点。
  如果特征数量很多，也可以在决策树学习开始的时候，对特征进行选择，只留下对训练数据有足够分类能力的特征。
  可以看出，决策树学习算法包含特征选择、决策树的生成与决策树的剪枝过程。由于决策树表示一个条件概率分布，所以深浅不同的决策树对应着不同复杂度的概率模型，决策树的生成对应于模型的局部选择，决策树的剪枝对应于模型的全局选择，决策树的生成只考虑局部最优，相对地，决策树的剪枝则会考虑全局最优。决策树学习的常用算法有ID3，C4.5与CART算法。

2 特征选取

  特征选择在于选取对训练数据具有分类能力的特征。这样可以提高决策树学习效率。如果利用一个特征进行分类的结果与随机分类的结果没有很大差别，则称这个特征时没有分类能力的。经验上扔掉这样的特征对决策树学习的精度影响不大。通常特征选择的准则是信息增益或者信息增益比。

2.1 信息增益

  先来介绍一下信息论中熵和条件熵的概念。
  熵（entropy）是用来表示随机变量不确定性的度量。设$X$是一个取有限个值的离散随机变量，其概率分布为
$$P(X=x_i)=p_i，i=1,2,\dots ,n$$
则随机变量$X$的熵定义为
$$H(X)=-\sum _{i=1}^n{p}_i\log p_i\text{\hspace{1em}(1)}$$
在式(1)中，若$p_i=0$，则定义$0\log 0=0$。通常，式(1）中的对数以2为底或以e为底（自然对数），这是熵的单位分别称作比特（bit）或纳特（nat）。由定义可知，熵只依赖于$X$的分布，而与$X$的取值无关，所以也可以将$X$的熵记作$H(p)$，即
(2) H ( p ) = − ∑ i = 1 n p i log ⁡ p