西瓜书-决策树

伪代码

决策树生成过程

决策树生成过程就是生成一颗最优的决策树，一般从根节点开始生成，一步一步往下蔓延(递归的过程)。那么选择哪个属性作为根节点呢？这就需要一个判定标准了，说白了就是穷举(无非就是那么几个属性)。
既然是决策点(一般称分支结点)，随着划分的不断进行， 我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即纯度越来越高。

信息熵 information entropy

度量样本集合纯度最常用的一种指标，该值越小则说明样本集合纯度越高，样本集合D的信息熵定义为：

信息增益 information gain

为了选定哪个属性作为划分结点，可计算各属性值对当前样本集合(划分的进行集合越来越小)进行划分所获得的信息增益

一般而言，信息增益越大，则意味着使用该属性来进行划分所获得的纯度提升越大，因此我们可以用信息增益来进行决策树的划分属性选择，即优先选择信息增益最大的属性作为新的划分结点。

缺点：信息增益准则对可取值数目较多的属性有所偏好

增益率 gain ratio

为了避免 信息增益准则偏好于取值数目较多的属性所带来的不利影响， 可使用增益率来选择最优划分属性，定义如下

注意

需注意的是，增益率准则对可取值数目较少的属性有所偏好，因此使用时并不是直接选择最大增益率最大的属性，而是：
现从候选划分属性中筛选出信息增益高于平均水平的属性，再从其中选择增益率最高的。

基尼指数

也是一种选择最优划分结点的评价指标，不想写了。。。

剪枝处理 -防止决策树过拟合

预剪枝 生成过程中决策是否剪枝

即划分过程中根据以上信息增益、增益率等准则选择划好了属性划分结点时，还有评估是否要接着划分，即加入该划分结点与否对分类精度的影响(验证集上测试)。（划分后的结果选择样本数目最多的类别）
根据精度来进行决策是否加入该划分结点。
缺点：存在欠拟合风险

后剪枝 生成决策树后从下至上、从左至右对划分点进行剪枝

也是同样的道理，根据剪枝前后的决策精度来判断是否需要剪掉该决策点
缺点：后剪枝是在生成决策树后进行的，并且需要自底向上地对树中所有非叶结点进行逐一考察，训练时间开销大

总结 后剪枝决策树欠拟合风险小，具有更好的泛化性能，但其训练时间开销要大得多。