决策树

前言

决策树模型呈树状结构，表示基于特征对实例进行分类的过程。可以从以下两个角度理解决策树模型:(1)可以把决策树看成是if-then规则的集合，其中实例中的每个特征是判断的条件。(2)可以把决策树看成是定义在特征空间与类空间的条件概率分布(给定特征的情况下类别的条件概率分布)。决策树包含以下三个内容：特征选择、决策树的生成与决策树的修剪。

决策树模型与学习

决策树模型

分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶结点表示一个类。 内部结点就是属性结构的根节点与子节点，叶节点就是属性结构的最后一层也就是表示输出结果(实例的类别)。具体结构如下图：

从决策树的结构我们会提出以下两个问题:(1).特征如何选择(确定内部结点)。(2).有向边如何选择。(3).如何终止分类进而得到分类结果。

决策树的学习(生成)与剪枝

决策树的学习过程：

1. 构建根节点，将所有训练数据放到根节点。
2. 选择一个最优特征(特征的选择)，按照这一特征将训练数据集分割成子集(将子集分割到类别中)，使得各个子集有一个在当前条件下最好的分类。
3. 如果这些子集已经能够被基本正确分类，那么构建叶节点(最后的类别)，并将这些子集分到所对应的叶节点中去。
4. 如果还有些子集不能够被基本分类，那么就对这些子集选择新的最优特征(回到步骤1)，继续对其进行分割，构建相应的结点。

不断进行以上过程进行分类直到所有的实例都能够基本正确的分类或者没有合适的特征，最后每个子集都被分到叶节点上。
通过以上过程可能对训练实例能够很好的分类，但是对未知数据不一定有很好的分类能力，既可能发生过拟合的现象。我们需要对已生成的树自下而上进行剪枝，将树变得更简单，从而使它具有更好的泛化能力。具体地，就是去掉过于细分的叶结点，使其 回退到父结点，甚至更高的结点，然后将父结点或更高的结点改为新的叶结点。

决策树的学习过程

特征选择

特征选择的目的是选择对类别有分类能力的特征以构成内部结点，如果一个特征进行分类的结果和随机结果没有区别那么这个特征就是没有分类能力，经验上对其这样的特征对分类结果影响不大。实践中用信息增益和信息增益比来衡量某一特征是否具有分类能力。
信息论中使用自信息来衡量数据所含信息大大小。
自信息的定义：$$I(m)=-lo{g}_{2}m$$熵的定义为自信息的期望：$$H(p)=E_{x\sim p}(I)=-\sum _{i=1}{p}_{i}log(p_i)$$
条件概率的熵的定义：$$H(Y|X)=\sum _{i=1}^n{p}_{i}H(Y|X_i=x_i)$$其中$p_i=P(X=x_i),x=1,2,3,...,n$

特征A对训练数据集D的信息增益$g(D,A)$,定义为集合$D$d的经验熵$H(D)$与特征$A$给定条件下$D$的经验条件熵$H(D|A)$之差，即$$g(D,A)=H(D)-H(D|A)$$信息增益如果比较小说明在$A$的条件下$D$的熵值几乎不小，即$A$对$D$几乎没有影响。这样的特征对结果几乎没有贡献应该被丢弃。反之信息增益很大说明特征$A$具有更强的分类能力。特征选择的方法是:对训练数据集$D$,计算其每个特征的信息增益，并比较它们的大小，选择信息增益最大的特征为接下来的内部结点。
对于离散数据算法如下：
设训练数据集为$D$,$|D|$表示其样本容量，即样本个数。设有$K$个类$C_k,k=1,2,...,K,|C_k|$为属于类$|C_k|$的样本个数,${\sum }_{k=1}^K|C_k|=|D|$。特征$A$有$n$个不同的取值$a_1,a_2,...,a_n$,根据特征$A$的取值将$D$划分为$n$个子集$D_1,D_2,...,D_n$,$|D_i|$为$D_i$的样本个数，${\sum }_{i=1}^n|D_i|=|D|$。记子集$|D_i|$中属于类$C_k$的样本的合集为$D_{ik}$,即$D_{ik}=D_i\bigcap C_k$,$|D_{ik}|$为$D_{ik}$的样本数量
。求信息增益算法如下：

1. 计算数据集$D$的经验熵$H(D)$$$H(D)=-\sum _{k=1}^K\frac{|C_k|}{|D|}lo{g}_2\frac{|C_k|}{|D|}$$
2. 计算特征$A$对数据集$D$的经验条件熵$H(D|A)$$$H(D|A)=\sum _{i=1}^n\frac{|D_i|}{|D|}H(D_i)=-\sum _{i=1}^n\frac{|D_i|}{|D|}\sum _{k=1}^K\frac{|D_{ik}|}{|D_i|}lo{g}_2\frac{|D_{ik}|}{|D_i|}$$
3. 计算信息增益$$g(D,A)=H(D)-H(D|A)$$

通过以上过程计算出所有特征的信息增益，然后选择最大的作为决策树的根节点。
信息增益没有绝对的意义。在分类问题困难时， 也就是说在训练数据集的经验熵大的时候，信息增益值会偏大。反之，信息增益值会偏小。 使用信息增益比可以对这一问题进行校正。这是特征选择的另一准则。 特征$A$对训练数据集$D$的信息增益比$g_R(D,A)$定义为其信息增益$g(D,A)$与训练数据集$D$的经验熵$H(D)$之比：$$g_R(D,A)=\frac{g(D,A)}{H(D)}$$

决策树的生成

ID3算法

ID3算法以信息增益作为特征选择的衡量方法，具体的方法是：

1. 若$D$中所有实例属于同属于同一个类别$C_k$,则$T$为单节点树，并将类$C_k$作为该结点的类标记。
2. 若$A＝Ø$，则$T$为单结点树，并将$D$中实例数最大的类$C_k$作为该结点的类标记
3. 否则计算所有特征的信息增益，得到产生最大信息增益的特征$A_g$
4. 如果$A_g$小于某一个阈值$ϵ$时，则置$T$为单结点树，并将$D$中实例数最大的类$C_k$ 作为该结点的类标记
5. 将节点上的实例划分到特征$A_g$不同取值的有向边上,将$D$分割为若干的非空子集$D_i$,将$D_i$作为子节点。
6. 将$D_i$作为训练实例$D$,以$A-A_g$为特征集合,递归的进行以上过程。

C4.5算法

与ID3算法区别为采用信息增益比作为特征选择的衡量方法。

决策树的剪枝

设树$T$的叶结点个数为$|T|$,$t$是树$T$的叶结点，该叶结点有$N_t$个样本点，其中$k$类的样本点有$N_{tk}$个,$k=1,2,...,K$,$H_t(T)$为叶结点$t$上的经验熵,$a\ge 0$为参数，则决策树的损失函数定义：$$C_a(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+a|T|$$其中$$H_t(T)=-\sum _k\frac{N_{tk}}{N_t}\log \frac{N_{tk}}{N_t}$$设$$C(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)=-\sum _{t=1}^{|T|}\sum _{k=1}^K{N}_{tk}\log \frac{N_{tk}}{N_t}$$这是有$$C_a(T)=C(T)+a|T|$$从以上损失函数可以得到$C(T)$表示模型对训练样本的预测误差(熵值越小数据对模型来说不确定性越低，误差也就越低)。$|T|$表示叶结点的数量，很显然$|T|$越小说明叶结点的规模也就越小，模型的泛化能力也就越强，这是一个正则项，$a$是一个超参数。
剪枝过程的算法如下:

1. 计算每个叶结点的经验熵，并求出$C(T)$
2. 递归地从树的叶结点向上回缩。设一组叶结点回缩到其父节点之前与之后的整体分别为$T_B$与$T_A$,其对应的损失函数值分别是$C_a(T_B)$与$C_a(T_A)$，如果$$C_a(T_A)\le C_a(T_B)$$(剪枝之后损失函数变小了最小化的过程)则进行剪枝，即将父节点变为新的叶结点。
3. 进行以上过程知道损失函数不能减小为止。

CART算法

CART是分类与回归树，顾名思义该算法既可用于分类也可以用于回归，同时它也包括特征的选择、树的生成以及树的剪枝三个过程。CART假设决策树为二叉树，内部结点的特征取值为"是"和"否"，对连续特征与特征多取值的特征空间处理为切分特征与切分点。

回归问题

决策树用于回归问题时实际上就是通过决策树的过程将输入空间分割若干($M$)个单元($R_1,R_2,...,R_M$)，并且每个单元($R_m$)输出固定的值（$c_m$），这个值就是落在这个单元中的实例的输出值，回归树模型可表示为:$$f(x)=\sum _{m=1}^M{c}_{m}I(x\in R_m)$$用平方误差${\sum }_{x_i\in R_m}(y_i-f(x_i){)}^2$,来表示回归树对于训练数据集的预测误差，这个值越小表明预测的越准确，易知，单元$R_m$上的$c_m$的最优值${\hat{c}}_m$是$R_m$上的所有输入实例对应的输出的均值(确定了单元的取值($c_m$)问题)，即$${\hat{c}}_m=ave(y_i|x_i\in R_m)$$以上确定了两个内容：(1).确定了衡量单元(分割区域)的效果的度量—平法误差。(2).确定了分割区域所有对应的输出值—均值。(连续变量是区域内所有实例输出值的均值，离散变量是区域内所有实例对应类别的多数表决)。根据这两个内容就可以寻找最优切分特征以及最优切分点了。选择第$j$个变量$x^{(j)}$和它取的值$s$作为切分变量和切分点，根据这个切分点把实例分为两个区域定义如下： R 1 ( j , s ) = { x ∣ x ( j ) ≤ s } 和 R 2 ( j , s ) = { x ∣ x ( j ) > s } R_1(j,s)=\lbrace x|x^{(j)} \leq s \rbrace 和R_2(j,s)=\lbrace x|x^{(j)}>s \rbrace R1​(j,s)={x∣x(j)≤s}和R2​(j,s)={x∣x(j)>s}根据下式求得最优切分点$s$ $$\underset{j,s}{\min }[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2]$$通过上式就能求得任意切分变量$j$的的最优切分点$s$，便利所有的变量就能够找到最优切分变量与最优切分点记作$(j,s)$。通过$(j,s)$分割为两个子区域，再对每一个子区域进行以上操作，就可以得到一个一颗回归树了。

分类问题

分类问题中假设有$K$个类，样本点属于第$k$类的概率为$p_k$,概率分布的基尼指数定义为$$Gini(p)=\sum _{k=1}^K{p}_k(1-p_k)=1-\sum _{k=1}^K{p}_k^2$$如果样本集合$D$根据特征$A$是否取其一可能值$a$被分割成$D_1$和$D_2$两部分，即 D 1 = { ( x , y ) ∈ D ∣ A ( x ) = a } , D 2 = D − D 1 D_1=\lbrace (x,y) \in D |A(x)=a \rbrace , D_2=D-D_1 D1​={(x,y)∈D∣A(x)=a},D2​=D−D1​则在特征$A$的条件下，集合$D$的基尼指数定义为$$Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$$基尼指数$Gini(D)$表示集合$D$的不确定性，基尼指数$Gini(D,A)$表示经$A=a$分割后集合$D$的不确定性。基尼指数数值越大，样本集合的不确定性也就越大，这一点与熵相似。分类算法如下：

1. 设节点的训练数据集为$D$,计算现有特征对该数据集的基尼指数。此时，对每一个特征$A$,对其可能取的每个值$a$,根据样本点对$A=a$的测试为"是"或"否"将$D$分割成$D_1$和$D_2$两部分，并计算$A=a$时的基尼指数。
2. 在所有可能的特征$A$以及它们所有可能切分点$a$中，选择基尼系数最小的特征及其对应的切分点作为最优特征与最优切分点。依最优特征与最优切分点，从现结点生成两个子结点，将训练数据集依特征分配到两个子结点中去。
3. 对两个子结点递归的进行以上操作，直至满足停止条件。

CART剪枝

剪枝算法从生成的决策树的底端剪去一些子树,使决策树变小(模型变得简单),从而能够对未知数据有更准确的预测。剪枝共分为两步：

1. 首先从生成算法产生的决策树$T_0$底端开始不断剪枝,直到$T_0$的根节点,形成一个子树序列{T_0,T_1,…,T_n}
2. 通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树

剪枝过程所使用的损失函数如下:$$C_a(T)=C(T)=a|T|$$ 其中，$T$为任意子树，C(T)为训练数据集的预测误差(如基尼系数、平方误差等),$|T|$为子树的叶结点个数，$a$为参数。

具体地，从整体树$T_0$开始剪枝。对$T_0$的任意内部结点$t$,以$t$为单结点树的损失函数是$$C_a(t)=C(t)+a$$以$t$为根结点的子树$T_t$的损失函数是$$C_a(T_t)=C(T_t)+a|T_t|$$
定义$$g(t)=\frac{C(t)-C(T_t)}{|T_t|-1}$$它表示剪枝后损失函数见效的程度。算法如下

1. 设$k=0$,$T=T_0$
2. 设$a=+\infty$
3. 自下而上对内部结点$t$计算C(T_t),|T_t|以及$$g(t)=\frac{C(t)-C(T_t)}{|T_t|-1}$$$$a=min(a,g(t))$$这里，$T_t$表示以$t$为结点的子树,$C(T_t)$是对训练数据的预测误差，$|T_t|$是$T_t$的叶结点个数。
4. 自上而下地访问内部结点$t$，如果有$g(t)=a$，进行剪枝，并对叶结点$t$以多数表决法决定其类，得到树$T$。
5. 设$k=k+1$,$a_k=a$,$T_k=T$。
6. 如果$T$不是有根结点单独构成的树，则回到步骤(3)。
7. 采用交叉验证法在子树序列$T_0,T_1,...,T_n$中选取最优子树$T_a$。