python数据挖掘决策树算法_数据挖掘——决策树巩固与 Python 实现

上个星期去崇州参加比赛，回来老师已经讲到了「分类」，那一节课学了决策树，现在继续课后巩固一下。

什么是决策树

概念

决策树(decision tree)是一种类似于流程图的树结构(可以是二叉树也可以不是)，其中，每个内部节点(非叶子结点)表示在一个属性上的测试，每个分枝代表该测试的一个输出，而每个叶子结点存放一个类标号。书的最顶层节点是根节点。

决策树是一种基本的分类与回归方法，它可以看作if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。

更好的理解

以一个例子更好的理解决策树：

上面这个例子，就是用来决策顾客是否可能购买计算机。每个内部节点表示在一个属性上的测试(比如是否是学生)，而每个叶子结点存放一个类标号也就是决策结果(比如 buys_computer = no/yes)，箭头表示一个判断条件在不同情况下的决策路程。

决策树可以运用在诸多领域。

决策树学习算法构成

主要构成有三个部分：

特征选择

决策树生成

决策树的剪枝

决策树的路径具有一个重要的性质：互斥且完备，即每一个样本均被且只能被一条路径所覆盖。

特征选择

如果利用一个特征进行分类的结果与随机分类的结果无异，则可以认为这个特征是不具备分类能力的。把这样的特征去掉，对决策树的分类精度应该影响不大。

那如何判断一个特征的分类能