1、决策树基本流程
决策树是模拟树状的决策过程,包括根节点、叶子节点和内部节点。根节点包括样本全集,叶子节点表示决策结果。决策树计算的过程就是寻找一条从根节点到叶子节点的路径。
基本算法过程为:
2、划分选择
决策树是递归过程,分为三种情况:
(1)当前节点包含的样本全属于同一类别,无需化划分。
(2)当前属性集为空,或是所有样本在所有属性上取值相同,无法划分。
(3)当前节点包含的样本集合为空,不能划分。
具体而言,划分的方法包括
(1)信息增益。信息增益是使用信息熵来对样本的纯度进行分析。信息熵定义为:
信息熵越小,数据集的纯度越高。
(2)增益率。决策过程包括较多的属性偏好。为了减少属性偏好对决策树的影响,引入的增益率的概念,进行最优划分属性选择,计算公式为:
3、剪枝处理。剪枝处理是为了防止训练过程过拟合而导致的模型泛化性能不佳,包括预剪枝和后剪枝策略等。