决策树公式推导

1. 决策树模型概述

分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶结点表示一个类。

决策树学习通常包括3 个步骤：特征选择、决策树的生成和决策树的修剪。决策树学习常用的算法有ID3 、C4.5 与CART。

2. 特征选择

决策树在一个分支时会从众多属性中选择一个属性进行划分，一般是选择最优的属性进行划分，对最优的评判需要依靠一些指标来进行。我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点“纯度”越来越高。

2.1 信息熵

在这之前，我们先定义信息熵的概念，假设样本集合 $D$ 中第 $k$ 类样本所占的比例为 $p_k(k=1,2,...,N)$ ，则 $D$ 的信息熵定义为
$$Ent(D)=-\sum _{k=1}^N{p}_{k}lo{g}_2{p}_k$$ $Ent(D)$ 的值越小，则 $D$ 的不确定性越高。

2.2 信息增益

假设离散属性 $a$ 有 $V$ 个可能的取值，若采用 $a$ 进行划分时，会产生 $V$ 个分支，每个分支包含了取值的所有样本，记其中一个分支为 $D^v$，可算出其信息熵，再考虑到每一个分支结点中的样本数不同，对其进行权重赋予 $|D^v|/|D|$，样本越多影响越大，所以属性 $a$ 对样本集 $D$ 划分的“信息增益”定义为
$$Gain(D,a)=Ent(D)-\sum _{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)$$信息增益越大，则使用属性 $a$ 来进行划分所得的“纯度提升”越大，其中 $D$ 是要进行本次划分计算的集合。

2.3 增益率

信息增益对可取值数目较多的属性有一定的偏好，为了减少这种影响，可使用增益率来作为指标，增益率如下所示
$$Gain\_ratio(D,a)=\frac{Gain(D,a)}{IV(a)}$$其中
$$IV(a)=-\sum _{v=1}^V\frac{|D^v|}{|D|}lo{g}_2\frac{|D^v|}{|D|}$$称为属性 $a$ 的固有值。

增益率对属性可能取值少的属性比较有偏好，所以一般是先从候选属性中找出信息增益高于平均水平的属性，再从中选择增益率高的。

3. 决策树生成

3.1 ID3算法

ID3 算法的核心是在决策树各个结点上应用信息增益准则选择特征，递归地构建决策树。具体方法是：从根结点开始，对结点计算所有可能的特征的信息增益， 选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子结点；再对子结点递归地调用以上方法，构建决策树；直到所有特征的信息增益均很小或没有特征可以选择为止。最后得到一棵决策树。

ID3 算法只有树的生成，所以该算法生成的树容易产生过拟合。

具体例子在这里截取李航老师的《统计学习方法》来做理解：

3.2 C4.5生成算法

C4.5 算法与ID3 算法相似， C4.5 算法对ID3 算法进行了改进。C4.5 在生成的过程中，用信息增益比来选择特征，除此之外没有不同

4. 决策树剪枝

决策树生成算法递归地产生决策树，直到不能继续下去为止。这样产生的树往往对训练数据的分类很准确，但对未知的测试数据的分类却没有那么准确，即出现过拟合现象。解决这个问题的办法是考虑决策树的复杂度，对已生成的决策树进行简化。

剪枝时可以按照类似正则化的方法对决策树进行剪枝。

设决策树 $T$ 的叶节点个数是 $|T|$ ，该叶节点有 $N_t$ 个样本点，其中 $k$ 的样本点有 $N_{tk}$ 个，$k=1,2,\cdots ,K$ ，$H_t(T)$ 为叶节点 $t$ 上的熵，$\alpha \ge 0$ 为参数，则决策树的损失函数定义如下：
$$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|$$其中熵为
$$H_t(T)=-\sum _k\frac{N_{tk}}{N_t}\log \frac{N_{tk}}{N_t}$$在损失函数中，将 $C_{\alpha }(T)$ 等式的右端第一项可以记作
$$C(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)=-\sum _{t=1}^{|T|}\sum _{k=1}^K{N}_{tk}\log \frac{N_{tk}}{N_t}$$此时即有
$$C_{\alpha }(T)=C(T)+\alpha |T|$$ $C(T)$表示模型对训练数据的预测误差，即模型与训练数据的拟合程度，$|T|$表示模型复杂度，参数 $\alpha$ 控制两者之间的影响。较大的 $\alpha$ 促使选择较简单的模型，较小的 $\alpha$ 促使选择较复杂的模型。 $\alpha =0$ 意味着只考虑模型与训练数据的拟合程度，不考虑模型的复杂度。

剪枝， 就是当 $\alpha$ 确定时，选择损失函数最小的模型，即损失函数最小的子树。当 $\alpha$ 值确定时，子树越大，往往与训练数据的拟合越好，但是模型的复杂度就越高；相反，子树越小，模型的复杂度就越低，但是往往与训练数据的拟合不好。损失函数正好表示了对两者的平衡。

5. CART算法

5.1 CART概述

分类与回归树（CART) 模型是应用广泛的决策树学习方法。CART 同样由特征选择、树的生成及剪枝组成，既可以用千分类也可以用千回归。以下将用于分类与回归的树统称为决策树。

决策树的生成就是递归地构建二叉决策树的过程。对回归树用平方误差最小化准则，对分类树用基尼指数(Gini index) 最小化准则，进行特征选择，生成二叉树。

5.1 CART回归树生成

假设 X = { x 1 , x 2 , ⋯   , x n } X=\{x_1,x_2,\cdots,x_n\} X={x1​,x2​,⋯,xn​} 与 Y = { y 1 , y 2 , ⋯   , y n } Y=\{y_1,y_2,\cdots,y_n\} Y={y1​,y2​,⋯,yn​}分别为输入和输出变量，并且 $Y$ 是连续变量， $X$ 是 $n$ 维的，设 $x_i$ 有 $k$ 个特征，为 $d_1,d_2,\cdots ,d_k$ ,将输入的序列 $(x_i,y_i)$ 按照 $y_i$ 的顺序进行排列。

(1) 遍历每个特征 $d_h$ ，以及每个取值 $s$ ，计算每个切分点 $(d_h,y_i)$ 的损失函数，选择损失函数最小的切分点，损失函数如下
$$\underset{d_h,s}{\min }\left[\underset{c_1}{\min }\sum _{x_i\in R_1(d_h,s)}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(d_h,s)}(y_i-c_2{)}^2\right]$$其中 $R_1,R_2$ 为切分点划分的两个区域, $c_1,c_2$ 定义如下：
$$c_1=\frac{1}{N_1}\sum _{x_i\in R_1}{y}_i,c_2=\frac{1}{N_2}\sum _{x_i\in R_2}{y}_i$$其中 $N_1,N_2$ 分别为 $R_1,R_2$ 中序列的个数。
(2) 每个区域的预测值是所有样本 $y$ 值的均值；
(3) 对每个区域重复(1)(2)步骤直至不能划分；
(4) 最后将空间划分为 $R_1,R_2,\cdots ,R_m$，$c_i$ 为区域 $i$ 的输出值的平均值，生成决策树 $$f(x)=\sum _{i=1}^m{c}_{i}I(x\in R_i)$$

5.2 CART分类树生成

分类树用基尼指数选择最优特征，同时决定该特征的最优二值切分点。

数据集 $D$ 的纯度可以用基尼值来进行度量，设 $p_k$ 为第 $k$ 个类别的比例，即
$$Gini(D)=1-\sum _{k=1}^N{p}_k^2$$基尼值越小，数据集的纯度越高。

假设离散属性 $a$ 有 $V$ 个可能的取值，若采用 $a$ 进行划分时，会产生 $V$ 个分支，每个分支包含了取值的所有样本，记其中一个分支为 $D^v$，对属性 $a$ 进行基尼指数的定义可表示为
$$Gini\_index(D,a)=\sum _{v=1}^V\frac{|D^v|}{|D|}Gini(D^v)$$一般情况，选择使得划分后基尼指数最小的属性作为最优的划分属性。

算法如下：
输入：训练数据集 $D$, 停止计算的条件；
输出： $CART$ 决策树。
(1) 设结点的训练数据集为 $D$, 计算现有特征对该数据集的基尼指数。此时，对每一个特征 $A$, 对其可能取的每个值 $a$, 根据样本点对 $A=a$ 的测试为“是”或“否＂，将 $D$ 分割成 $D_1$ 和 $D_2$ 两部分，计算 $A=a$ 时的基尼指数。
(2) 在所有可能的特征 $A$ 以及它们所有可能的切分点 $a$ 中，选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点。依最优特征与最优切分点，从现结点生成两个子结点，将训练数据集依特征分配到两个子结点中去。
(3) 对两个子结点递归地调用(1), (2) ，直至满足停止条件。
(4) 生成 $CART$ 决策树。.
算法停止计算的条件是结点中的样本个数小千预定阙值，或样本集的基尼指数小于预定阙值（样本基本属于同一类），或者没有更多特征。

例题如下：

5.3 CART剪枝

$CART$ 剪枝算法由两步组成：首先从生成算法产生的决策树 $T_0$ 底端开始不断剪枝，直到 $T_0$ 的根结点，形成一个子树序列 { T 0 , T 1 , ⋯   , T n } \{T_0,T_1,\cdots,T_n \} {T0​,T1​,⋯,Tn​} ；然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。

从整体树 $T_0$ 开始剪枝。对 $T_0$ 的任意内部结点 $t$, 以 $t$ 为单结点树的损失函数是
$$C_{\alpha }(t)=C(t)+\alpha$$以 $t$ 为根结点的子树 $T_t$ 的损失函数是
$$C_{\alpha }(T_t)=C(T_t)+\alpha |T_t|$$当 $\alpha =0$ 及 $\alpha$ 充分小时，有不等式
$$C_{\alpha }(t)>C_{\alpha }(T_t)$$随着 $\alpha$ 的增大，在某一刻有
$$C_{\alpha }(t)=C_{\alpha }(T_t)$$此时有
$$\alpha =\frac{C(t)-C(T_t)}{|T_t|-1}$$为此，对 $T_0$ 的每一个内部节点 $t$ ，计算
$$g(t)=\frac{C(t)-C(T_t)}{|T_t|-1}$$它表示剪枝后整体损失函数减少的程度。在 $T_0$ 中剪去 $g(t)$ 最小的 $T_t$, 将得到的子树作为 $T_1$ ，同时将最小的 $g(t)$ 设为 ${\alpha }_1$ 。 $T_1$ 为区间 $[{\alpha }_1,{\alpha }_2)$ 的最优子树。如此剪枝下去，直至得到根结点。在这一过程中，不断地增加 $\alpha$ 的值，产生新的区间。

利用独立的验证数据集，测试子树序列 $T_0,T_1,\cdots ,T_n$ 中各棵子树的平方误差或基尼指数。平方误差或基尼指数最小的决策树被认为是最优的决策树，每一棵子树都对应着一个参数 ${\alpha }_0,{\alpha }_1,\cdots ,{\alpha }_n$ ，当最优子树 $T_k$ 确定时，对应的 ${\alpha }_k$ 也确定了，即得到最优决策树 $T_{\alpha }$ 。

故 $CART$ 剪枝算法如下：

输入： CART 算法生成的决策树 $T_0$;
输出：最优决策树 $T_{\alpha }$
(1) 设 $k=0,T=T_0$；
(2) 设 $\alpha =+\infty$；
(3) 自下而上地对各内部结点 $t$ 计算 $C(T_t),|T_t|$以及
$$\begin{array}{rl}g(t)& =\frac{C(t)-C(T_t)}{|T_t|-1}\\ \alpha & =min(\alpha ,g(t))\end{array}$$这里，$T_t$ 表示以 $t$ 为根结点的子树， $C(T_t)$ 是对训练数据的预测误差， $|T_t|$ 是 $T_t$ 的叶结点个数；
(4) 对 $g(t)=a$ 的内部结点 $t$ 进行剪枝，并对叶结点 $t$ 以多数表决法决定其类，得到树 $T$ 。
(5) 设 $k=k+1,{\alpha }_k=a,T_k=T$ ；
(6) 如果 $T_k$ 不是由根结点及两个叶结点构成的树，则回到步骤(2) ；否则令 $T_k=T_n$ ；
(7) 采用交叉验证法在子树序列 $T_0,T_1,\cdots ,T_n$ 中选取最优子树 $T_{\alpha }$ 。