python决策树例题经典案例-决策树python实现小样例

我们经常使用决策树处理分类问题，近年来的调查表明决策树也是经常使用的数据挖掘算法

K-NN可以完成多分类任务，但是它最大的缺点是无法给出数据的内在含义，决策树的主要优势在于数据形式非常容易理解

决策树的优缺点：

优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据

缺点：可能会产生过度匹配问题

适用数据类型：数值型和标称型

在构造决策树时，我们需要解决的第一个问题是，当前数据集上哪个特征在划分数据分类时起决定性作用。

为了找到决定性的特征，划分出最好的结果，我们必须评估每个特征。完成测试之后，原始数据集就被划

分为几个数据子集。这些数据子集会分布在第一个决策点的所有分支上，如果某个分支下的数据属于同一

类型，则当前无需阅读的垃圾邮件已经正确地划分数据分类，无需进一步对数据集进行分割。如果数据子

集内的数据不属于同一类型，则需要重复划分数据子集的过程。如何划分数据子集的算法和划分原始数据集

的方法相同，直到所有具有相同类型的数据均在一个数据子集内

决策树的一般流程

（1）收集数据：可以使用任何方法

（2）准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化

（3）分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期

（4）训练算法：构造树的数据结构

（5）测试算法：使用经验树计算错误率

（6）使用算法：此步骤可以适用于任何监督学习算法，而适用决策树可以更好地理解数据的内在含义

从数据集构造决策树算法所需要的子功能模块，其工作原理如下：得到原始数据集，然后基于

最好的属性值划分数据集，由于特征值可能多余两个，因此可能存在大于两个分支的数据集划

分，第一次划分之后，数据将被向下传递到树分支的下一个节点，在这个节点上，我们可以再

次划分数据。

1 计算给定数据集的香农熵2 from math importlog3 i