决策树剪枝算法

　　剪枝作为决策树后期处理的重要步骤，是必不可少的。没有剪枝，就是一个完全生长的决策树，是过拟合的，需要去掉一些不必要的节点以使得决策树模型更具有泛化能力。

决策树

　　决策树就是对一棵形似于树的判决模型，树的节点是某个属性，及分裂点，树的叶是类型。
　　在生长过程中，可以有很多种不同的生成准则，具体就不在详述了。不清楚的同学参考之前的博客：http://blog.csdn.net/yujianmin1990/article/details/47406037
　　今天主要讲的是决策树的剪枝策略。

决策树剪枝

　　为什么剪枝？
　　我们生成的好好的决策树，为什么要对其进行剪枝呢？因为我们在生成树的过程中，如果没有剪枝的操作的话，就会长成每一个叶都是单独的一类的样子。这样对我们的训练集是完全拟合的，但是对测试集则是非常不友好的，泛化能力不行。因此，我们要减掉一些枝叶，使得模型泛化能力更强。
　　根据剪枝所出现的时间点不同，分为预剪枝和后剪枝。预剪枝是在决策树的生成过程中进行的；后剪枝是在决策树生成之后进行的。

剪枝策略

　　剪枝之后，对该节点的类别判别是用“大多数原则“，选择当前数据集下的最多的类标签为该节点的类别。
　　1）Reduced Error Pruning：误差降低剪枝
　　最简单粗暴的一种后剪枝方法，其目的减少误差样本数量。
　　$f(T)=-\sum_{t \in T}e(t)$
　　其中$e(t)$表示在节点$t$下的样本的误判个数；$T$表示当前树的节点。
　　$f(T')=-\sum_{t \in T'}e(t)$
　　其中$T'$表示去掉某个节点$N$之后的树的节点；$e(t)$表示某个节点下的训练样本点误判数量。
　　剪枝的条件：$f(T) \leqslant f(T')$，即$e(t_{K'}) \leqslant e(t_{K})$
　　剪枝之后使得误差降低。
　　1）Pessimistic Error Pruning：悲观错误剪枝
　　该方法基于训练数据的误差评估，因此不用单独找剪枝数据集。但训练数据也带来错分误差偏向于训练集，因此需要加入修正1/2。是自上而下的修剪。
　　具有$T$个节点的树的误差率衡量为：
　　$E(T) = \sum_{t \in T}\frac{e(t)+1/2}{N(t)}$
　　去掉节点$K$之后$T'$个节点的树的误差衡量为（此衡量方法侧重对每个节点的衡量），有的在前面加负号的，基本推导是一致的，剪枝条件的结论是一样的。
　　$E(T')=\sum_{t \in T, excep K}\frac{e(t)+1/2}{N(t)}$
　　$e(t)$表示节点$t$之下的训练集的误判的个数。
　　$N(t)$表示节点$t$之下的训练集的总个数。
　　设$n(t) = \frac{e(t)+1/2}{N(t)}$
　　可以证明
　　$E(T')-E(T)=n(t_K')-n(t_{K})=\frac{e(t_{K'})-e(t_{K})}{N(t)}$
　　即：带着某个点的该支的误判个数-去掉某点之后该支的误判个数 再除以该支的总个数。
　　剪枝的条件是：
　　$SE(n(t_{K’}))=\sqrt{\frac{n(t_{K’})*(N(t)-n(t_{K’}))}{N(t)}} \leqslant E(T’)-E(T)= \frac{e(t_{K’})-e(t_{K})}{N(t)}$
————————————————————
　　$PEP Algorithm$
　　$Input :$　$Tree$
　　$Output :$　$PruningTree$
　　$Process:$
　　$For　all　the　Node$
　　　　$自顶向下逐层遍历$
　　　　$if　SE(n(t_{K'})) \leqslant \frac{e(t_{K'})-e(t_{K})}{N(t)}$
　　　　$删除该节点所在分支$
　　$end　For$
————————————————————
　　2）Minimum Error Pruning：最小误差剪枝[1]
　　该方法由Niblett&Bratko1987年发明。与悲观错误剪枝方法相近，但是对类的计数处理是不同的。自底向上剪枝。
　　初始版本是：
　　$E_{pruning}=\frac{n-n_c+k-1}{n+k}$
　　$E_{pruning}$表示在某节点剪枝之后的一个期望误差率，$n$表示该节点的样本数量，$n_c$表示其中类别最多的样本个数，$k$表示数据的标签类别个数。此处有个假设：所有样本是均等的。
　　$E_{notpruning}=\sum_{split=1}^M \frac{|S_{split}|}{|S|}*E_{split-pruning}$
　　其中$\frac{|S_{split}|}{|S|}$表示分裂为某一支的样本比例
　　剪枝的条件：$E_{pruning} \leqslant E_{notpruning}$则剪掉该节点。
　　改进版本是： [1][2]
　　一个观测样本到达节点$t$，其隶属于类别$i$的概率为：
　　$p_i(t)=\frac{n_i(t)+p_{ai}m}{N(t)+m}$
　　其中，$n_i(t)$表示该节点下的训练样本中，被判断为$i$类的样本数量。$p_{ai}$表示在该类别的先验概率。$N(t)$表示该节点下训练样本的数量。$m$是评估方法的一个参数（m可以依据数据噪声给出，但是也可以作为一个参数，调节一下找到一个较合适的）。
　　对m-probability-estimates, the static error : $E_s$在某一个节点的计算方式如下：
　　$E_s=1-\frac{n_c+p_{\alpha c}m}{N+m}=\frac{N-n_c+(1-p_{\alpha c})m}{N+m}$
　　其中，$N$是节点所在支的样本数量；$n_c$是该节点下类别最多的样本数量。$p_{\alpha c}$表示最多类别的先验概率。
　　若是不剪枝，则期望误差：$E_{split-s}=\sum_{split=1}^M \frac{|S_{split}|}{|S|}*E_{split-s}$
　　剪枝的条件：$E_s \leqslant E_{split-s}$则去掉该节点。
　　3）Cost-Complexity Pruning：代价复杂剪枝[3][4][5]
　　该方法在Breiman1984年的经典CART中首次提到并使用。
　　一棵树的好坏用如下式子衡量：$R_{\alpha}(T) = R(T)+\alpha C(T)$
　　其中$R(T)$表示该树误差（代价）的衡量；$C(T)$表示对树的大小的衡量（可以用树的终端节点个数代表）。$\alpha$表示两者的平衡系数，其值越大，树越小，反之树越大。
　　怎么用这个准则剪枝呢？
　　1.找到完整树的一些子树{$T_i, i=1,2,3,...,m$}。
　　2.分别计算他们的$R_{\alpha}(T_i)$，选择最小的$R_{\alpha}(T_i)$所代表的树。
　　误差（代价）用训练样本，但最好十折计算。
　　4）Error-Based Pruning：基于错误的剪枝[6]
　　该方法由Quinlan在1992年的C4.5算法中首次提出并使用。使用测试集来剪枝。
　　对每个节点，计算剪枝前和剪枝后的误判个数，若是剪枝有利于减少误判（包括相等的情况），则减掉该节点所在分支。
　　5）Critical Value Pruning：
　　该方法由Mingers1987年发明。
　　树的生成过程中，会得到选择属性及分裂值的评估值，设定一个阈值，所有小于此阈值的节点都剪掉。

文献参考

[1]【Bojan & Bratko. On Estimating Probabilities in Tree Pruning】
[2]【The Effects of Pruning Methods on the Predictive Accuracy of Induced Decision Trees】
[3]【Cost Complexity-Based Pruning of Ensemble Classifiers】
[4]【Stopping Rules, Pruning, Tree Sequences, and Tree Selection】
[5]【Simplifying Decision Trees】
[6]【An Empirical Comparison of Pruning Methods for DecisionTree 】