决策树算法

一.决策树（decision tree）概念以及基本模型

1.基本概念
决策树（decision tree）是一种基本的分类与回归方法，在二分类任务中，我们希望从给定训练数据集学得一个模型用以对新实例进行分类，这个将实例分类的任务，可看做对“当前版本属于正类吗？”这个问题的“决策"或"判定"过程.顾名思义，决策树是基于树结构来进行决策的。
2.基本模型
一般的，一棵决策树包含一个根结点、若干个内部结点和若干个叶结点;
叶结点对应于决策结果，其他每个结点则对应于一个属性测试;每个结点包含
的样本集合根据属性测试的结果被划分到子结点中;根结点包含样本全集.从
根结点到每个叶结点的路径对应了一个判定测试序列.决策树学习的目的是为
了产生一棵泛化能力强，即处理未见示例能力强的决策树。
显然，决策树的生成是一个递归过程.在决策树基本算法中，有三种情形会
导致递归返回: (1) 当前结点包含的样本全属于同一类别，无需划分; (2) 当前
属性集为空，或是所有样本在所有属性上取值相同，无法划分; (3) 当前结点包含的样本集合为空，不能划分.
在第(2) 种情形下我们把当前结点标记为叶结点，井将其类别设定为该结
点所含样本最多的类别;在第 (3) 种情形下，同样把当前结点标记为叶结点)
将其类别设定为其父结点所含样本最多的类别.注意这两种情形的处理实质不
同:情形(2) 是在利用当前结点的后验分布，而情形(3) 则是把父结点的样本分布作为当前结点的先验分布.