三、决策树

1. 基本流程

---

       决策树(decision tree)是一种常见的机器学习算法，以二分类为例，我们希望从给定的数据集学得一个模型用于对新实例进行分类，我们把对样本的分类看成 “这个样本是否为正例？” 这个问题的决策过程，从而，我们可以的到一个基于树结构的判别过程，这和人类再面临决策问题时的处理机制非常相似。下图展示了对于西瓜判定问题的树结构：

       决策过程的最终结论对应了我们所希望的判定结果，决策过程中提出的每个判定问题都是对于某个属性的 “测试” ，每个测试的结果或是导出最终结论，或是导出进一步的判定问题，新的判定问题的判定范围是在上次决策结果的限定范围之内。

       一般的，一棵决策树包含一个根节点、若干个内部节点和若干个叶节点；叶节点对应于决策结果，其他的每个节点对应于一个属性测试；每个节点包含的样本集合根据属性测试的结果被划分到子节点中；根节点包含样本的全集。从根节点到每个叶节点的路径对应了一个判定测试序列。决策树学习的 目的 是：为了产生一棵泛化能力强，即处理未来示例能力强的决策树，其基本流程如下：

       决策树的生成是一个递归过程。在决策树基本算法中，有三种情况会导致递归返回：

1. 当前结点包含的样本全属于同一类别，无需划分
2. 当前属性集为空，或是所有样本在所有属性上取值相同，无法划分
3. 当前结点包含的样本集合为空，不能划分

2. 划分选择

---

       决策树每次判定都需要选择一个属性作为 划分属性，一个数据集可能有很多样本，我们每次应该选择哪个样本作为第一个划分，哪一个作为第二个划分，对应于上图的算法第 8 行的问题，我们应该如何选择最优划分属性。一般来说，随着划分过程的不断进行，我们希望决策树的分支节点所包含的样本尽可能属于同一类别，即节点的 “纯度”(purity)越来越高。也就是每次划分后，得到的每部分的样本中，纯度尽可能大，下面我们通过衡量通过每种属性进行划分后得到结果的纯度来决定将哪个属性作为首先选择的属性划分。

2.1 信息增益

       “信息熵”(information entropy) 是度量样本集合纯度最常用的一种指标。假定当前样本集合 $D$ 中第 $k$ 类样本所占的比例为 $p_k(k=1,2,\cdots ,|\mathcal{Y}|)$ ，则 $D$ 的 信息熵 定义为
$$\mathrm{Ent}(D)=-\sum _{k=1}^{|\mathcal{Y}|}{p}_k{\log }_2{p}_k$$

$\mathrm{Ent}(D)$ 的值越小，则 $D$ 的纯度越高。

       假定离散属性 $a$ 有 $V$ 个可能的取值 { a 1 , a 2 , ⋯   , a V } \{a^1,a^2,\cdots,a^V\} {a1,a2,⋯,aV}，若使用 $a$ 来对样本集 $D$ 进行划分，则会产生 $V$ 个分支结点，其中第 $v$ 个分支节点包换了 $D$ 中所有在属性 $a$ 上取值为 $a^V$ 的样本，记为 $D^v$ 。所以，我们也可以根据上式计算出 $C^v$ 的信息熵。在考虑不同的分支结点所包含的样本数不一样，给分支结点赋予权重 $\frac{|D^v|}{|D|}$ ，即样本数越多的分支结点的影响越大，于是可以计算出用属性 $a$ 对样本集 $D$ 进行划分所获得的 “信息增益(information gain)

$$\mathrm{Gain}(D,a)=\mathrm{Ent}(D)-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\mathrm{Ent}\left(D^v\right)$$

       一般而言，信息增益越大，意味着使用属性 $a$ 来划分所获得的 “纯度提升” 越大，因此，我们可以用信息增益来进行决策树的划分属性选择，即选择属性 $a_{\ast }=\arg \max \mathrm{Gain}(D,a)$ 作为每一步的划分属性。

       以西瓜分类为例，对于下图所示的西瓜数据集，显然 $|\mathcal{Y}|=2$ 对于每个属性，我们首先求得对于每个属性取值中，正例和反例的比例 $p_k$ ，然后就可以根据每个属性值的信息熵，再根据所有属性值的信息熵，计算改属性的信息增益，通过比较不同属性的信息增益，选择将哪个属性作为开始的划分属性。依次类推，我们可以对每个分支结点进行属性划分，最终构成决策树。

2.3 信息增益

       事实上，信息增益准则对可能取值数目较多的属性有所偏好，为减少这种偏好可能带来的不利影响，我们可以使用 “增益率”(gain ratio) 来选择最优划分属性。增益率定义为

$$\text{ Gain\_ratio }(D,a)=\frac{\mathrm{Gain}(D,a)}{\mathrm{IV}(a)}$$

其中

$$\mathrm{I}\mathrm{V}(a)=-\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}{\log }_2\frac{\left|D^v\right|}{|D|}$$

称为属性 $a$ 的 “固有属性”(intrinsic value)。属性 $a$ 的可能取值数目越多（即 V 越大），则 $\mathrm{I}\mathrm{V}(a)$的值通常会越大，这样就可以避免属性值较多对属性选择造成的影响。

       增益率准则对可取值数目较少的属性有所偏好，因此我们可以使用一个启发式方法：先从候选划分属性中找出增益率高于平均水平的属性，再从中选择增益率最高的。

2.4 基尼指数

       CART决策树(Classification and Regression)使用 “基尼指数”(Gini index) 来选择划分属性。数据集 $D$ 的纯度可用 基尼值 来度量：
$$\begin{array}{rl}\mathrm{Gini}(D)& =\sum _{k=1}^{|\mathcal{Y}|}\sum _{k^{\prime }\ne k}{p}_k{p}_{k^{\prime }}\\ & =1-\sum _{k=1}^{|\mathcal{Y}|}{p}_k^2\end{array}$$

       基尼值反映了从数据集 $D$ 中随机抽取两个样本，其类别标记不一致的概率，因此，基尼值越小，数据集 $D$ 的纯度越高。

       属性 $a$ 的基尼指数定义为
$$\text{ Gini\_index }(D,a)=\sum _{v=1}^V\frac{\left|D^v\right|}{|D|}\mathrm{Gini}\left(D^v\right)$$

我们可以在候选属性集合中，选择使得划分后基尼指数最小的属性作为最有划分属性，即 $a_{\ast }=\underset{a\in A}{\mathrm{argmin}}\mathrm{G}\mathrm{i}\mathrm{n}{\mathrm{i}}_{\mathrm{i}}\mathrm{n}\mathrm{d}\mathrm{e}\mathrm{x}(D,a)$ 。

3. 剪枝处理

---

       剪枝(pruning)是决策树学习算法中对付 “过拟合” 的主要手段。在决策树中，为了尽可能正确分类训练样本，结点划分过程将不断重复，有时会造成决策树分支过多，这时就可能因训练样本学的过好，以至于把训练集自身的一些 特点当作所有数据都具有的一般性质而导致过拟合，所以，可以通过主动去掉一些分支来降低过拟合的风险。

       决策树剪枝的基本策略有 “预剪枝”(prepruning) 和 “后剪枝”(postpruning)。预剪枝 是指在决策树生成过程中，对每个结点在划分前先进行估计，若当前节点的划分不能带来决策树泛化性能提升，则停止划分并将当前结点标记为叶节点；后剪枝 则是先从训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶节点可以提高决策树的泛化性能，则将该子树替换为叶节点。

       对泛化性能的评估可以使用留出法。也就是预留出一部分数据用作验证集，以进行性能的评估。预剪枝先找到划分属性，然后使用未划分之前的模型进行验证，再使用划分后的模型进行验证泛化性能，决定是否对此进行划分。后剪枝是先生成一棵完整的决策树，然后对每个结点进行依次删除，计算删除结点前后对验证集的测试结果，决定是否将该叶节点删去。

       后剪枝决策树通常比预剪枝决策树保留了更多的分支，一般情况下，后剪枝决策树的欠拟合风险很小，泛化性能往往优于预剪枝决策树，但后剪枝过程是在生成完全决策树之后进行的，并且要自底向上地对所有非叶节点进行逐一考察，所以训练的时间开销会更大。

4. 连续与缺失值

---

4.1 连续值处理

       前面我们讨论的都是基于离散属性来生成决策树，在现实中，我们常常遇到连续属性，由于有连续属性的可取值数目不是有限的，所以不能直接根据连续属性的可取值来对结点进行划分。这时我们可以对连续属性进行离散化，最简单的策略是采用 二分法(bi-partition) 对连续属性进行处理。

       给定样本集 $D$ 和连续属性 $a$ ，假定 $a$ 在 $D$ 上出现了 $n$ 个不同的取值，将这些值从小到大进行排序，记为 { a 1 , a 2 , ⋯   , a n } \{a^1,a^2,\cdots,a^n\} {a1,a2,⋯,an} 。基于划分点 $t$ 可将 $D$ 分为子集 $D_t^{-}$ 和 $D_t^{+}$，其中 $D_t^{-}$ 包含在属性 $a$ 上取值不大于 $t$ 的样本，而 $D_t^{+}$ 包含在属性 $a$ 上取值大于 $t$ 的样本。因此，对连续属性 $a$ ，我们可以考察有 $n-1$ 个候选划分点，他们组成候选划分点集合
$$T_a=\left\{\frac{a^i+a^{i+1}}{2}\mid 1⩽i⩽n-1\right\}$$

也就是我们可以把区间 $[a^i,a^{i+1})$ 的中位点 $\frac{a^i+a^{i+1}}{2}$ 作为候选划分点，然后我们就可以像离散属性值一样来考察这些划分点，选取最优的划分点进行样本集合的划分。这时，基于划分点 $t$ 的信息增益可以定义为
Gain ⁡ ( D , a ) = max ⁡ t ∈ T a Gain ⁡ ( D , a , t ) = max ⁡ t ∈ T a Ent ⁡ ( D ) − ∑ λ ∈ { − , + } ∣ D t λ ∣ ∣ D ∣ Ent ⁡ ( D t λ ) \begin{aligned} \operatorname{Gain}(D, a) &=\max _{t \in T_{a}} \operatorname{Gain}(D, a, t) \\ &=\max _{t \in T_{a}} \operatorname{Ent}(D)-\sum_{\lambda \in\{-,+\}} \frac{\left|D_{t}^{\lambda}\right|}{|D|} \operatorname{Ent}\left(D_{t}^{\lambda}\right) \end{aligned} Gain(D,a)​=t∈Ta​max​Gain(D,a,t)=t∈Ta​max​Ent(D)−λ∈{−,+}∑​∣D∣∣∣​Dtλ​∣∣​​Ent(Dtλ​)​

4.2 缺失值处理

       现实中我们常常会遇到不完整的样本，即样本的某些属性值缺失，如果简单的将不完整的样本放弃，是对数据信息的浪费，所以我们需要从缺失属性值的训练样本进行学习。

       要想实现从确实属性值的训练样本进行学习，我们需要解决两个问题

1. 如何在属性确实的情况下进行划分属性的选择？
2. 给定划分属性，若样本在该属性上的值确实，如何对样本进行划分？

对于第一个问题，给定训练集 $D$ 和属性 $a$，令 $\tilde{D}$ 表示 $D$ 中在属性 $a$ 上没有缺失值的样本子集。我们可以仅仅根据 $\tilde{D}$ 来判别属性 $a$ 的优劣。假定属性 $a$ 有 $V$ 个可取值 { a 1 , a 2 , ⋯   , a V } \{a^1,a^2,\cdots,a^V\} {a1,a2,⋯,aV} ，令 ${\tilde{D}}^v$ 表示 $\tilde{D}$ 中在属性 $a$ 上取值为 $a^v$ 的样本子集， ${\tilde{D}}_k$ 表示 $\tilde{D}$ 中属于第 $k$ 类 $(k=1,2,\cdots ,|\mathcal{Y}|)$ 的样本子集，则有 $\tilde{D}={\bigcup }_{k=1}^{|\mathcal{Y}|}{\tilde{D}}_k$，$\tilde{D}={\bigcup }_{v=1}^V{\tilde{D}}^v$。假定我们为每个样本 $\mathbf{x}$ 赋予一个权重 $w_{\mathbf{x}}$，再定义
$$\begin{array}{rl}\rho & =\frac{{\sum }_{\mathbf{x}\in \tilde{D}}^w\mathbf{w}}{{\sum }_{\mathbf{x}\in D}{w}_{\mathbf{x}}}\\ {\tilde{p}}_k& =\frac{{\sum }_{\mathbf{x}\in {\tilde{D}}_k}{w}_{\mathbf{x}}}{{\sum }_{\mathbf{x}\in \tilde{D}}{w}_{\mathbf{x}}}(1⩽k⩽|\mathcal{Y}|)\\ {\tilde{r}}_v& =\frac{{\sum }_{\mathbf{x}\in {\tilde{D}}^v}{w}_{\mathbf{x}}}{{\sum }_{\mathbf{x}\in \tilde{D}}^w}(1⩽v⩽V)\end{array}$$

对属性 $a$ ，$\rho$ 表示无缺失样本所占的比例，${\tilde{p}}_k$ 表示无缺失样本中第 $k$ 类所占的比例，${\tilde{r}}_v$ 表示无缺失值样本中在属性 $a$ 上取值 $a^v$ 的样本所占的比例。有

       基于以上，我们可以将信息增益的计算表示为
$$\begin{array}{rl}\mathrm{Gain}(D,a)& =\rho \times \mathrm{Gain}(\tilde{D},a)\\ & =\rho \times \left(\mathrm{Ent}(\tilde{D})-\sum _{v=1}^V{\tilde{r}}_v\mathrm{Ent}\left({\tilde{D}}^v\right)\right)\end{array}$$

其中
$$\mathrm{Ent}(\tilde{D})=-\sum _{k=1}^{|\mathcal{Y}|}{\tilde{p}}_k{\log }_2{\tilde{p}}_k$$

       对于第二个问题，若样本 $\mathbf{x}$ 在划分属性 $a$ 上的取值已知，则将 $\mathbf{x}$ 划入与其取值对应的子结点，且样本权值在子结点中保持为 $w_{\mathbf{x}}$ 。若样本 $\mathbf{x}$ 在划分属性 $a$ 上的取值未知，则将 $\mathbf{x}$ 同时划入所有子结点，且样本权值在与属性值 $a^v$ 对应的子结点中调整为 ${\tilde{r}}_v\cdot w_{\mathbf{x}}$ ，简单来说，就是让同一个样本以不同的概率划入到不同的子结点中去。

5. 多变量决策树

---

       若我们把每个属性视为坐标空间中的一个坐标轴，则 $d$ 个属性描述的样本就对应了 $d$ 维空间中的一个数据点；对样本分类则意味着在这个坐标空间中寻找不同类样本之间的分类边界，决策树所形成的分类边界有一个明显的特点：轴平行(axis-parallel)，即它的分类边界由若干个与坐标轴平行的分段组成。

       用下表的数据进行学习，可以得到下面的决策树。

       这个据册数对应的分类边界如下：

       可以发现，分类边界的每一段都是与坐标轴平行的，这样的分类边界使得学习结果有较好的可解释性，因为每一段划分都直接对应了某个属性取值。但在学习任务的真实分类边界比较复杂时，必须使用多段划分才能获得较好的近似，如下图所示：

       若能够使用斜的划分边界，决策树模型将大为简化，如下图所示：

       “多变量决策树”(multivariate decision tree)就是能实现 “斜划分” 甚至更复杂划分的决策树。以斜划分为例，这类树中，非叶结点不再仅对某个属性，而是 对属性的线性组合进行测试，也就是每个非叶结点是一个形如 ${\sum }_{i=1}^d{w}_i{a}_i=t$ 的线性分类器，其中 $w_i$ 是属性 $a_i$ 的权重，$w_i$ 和 $t$ 可在该结点所含的样本集和属性集上学得。所以，在多变量决策树的学习过程中不是为每个非叶结点寻找一个最优划分属性，而是试图建立一个合适的线性分类器。