机器学习实战(第三篇)-决策树构造

最新推荐文章于 2020-11-02 08:09:30 发布

perfecttshoot

最新推荐文章于 2020-11-02 08:09:30 发布

阅读量331

点赞数

分类专栏：机器学习文章标签：构造决策树

本文链接：https://blog.csdn.net/wanght89/article/details/79005819

版权

机器学习专栏收录该内容

7 篇文章 0 订阅

订阅专栏

首先我们分析下决策树的优点和缺点。优点：计算复杂度不高，输出结果易于理解，对中间值的却是不敏感，可以处理不相关特征数据；缺点：可能会产生过度匹配问题。适用数据类型：数值型和标称型。

本篇文章我们将一步步地构造决策树算法，并会涉及许多有趣的细节。首先我们先讨论数学上如何使用信息论划分数据集，然后编写将理论应用到具体的数据集上，最后编写代码构建决策树。

在构造决策树时，我们需要解决的第一个问题就是，当前数据集上哪个特征在划分数据分类时起决定性作用。为了找到决定性的特征，划分出最好的结果，我们必须评估每个特征。完成测试之后，原始数据集就被划分为几个数据子集了。这些数据子集会分布在第一个决策点的所有分支上。如果某个分支下的数据属于同一类型，则当前无需阅读的垃圾邮件已经正确地划分数据分类，无需进一步对数据集进行分割。如果数据子集内的数据不属于同一类型，则需要重复划分数据子集的过程。如何划分数据子集的算法和划分原始数据集的方法相同，知道所有具有相同类型的数据均在一个数据子集内。

创建分支的伪代码函数createBranch()如下所示：

检测数据集中每个子项是否属于同一个分类：

IF so return 类标签；

ELSE

寻找划分数据集的最好特征

划分数据集

创建分支节点

for 每个划分的子集

调用函数createBranch()并增加返回结果到分支节点中

return 分支节点

上面的伪代码createBranch是一个递归函数，在倒数第二行直接调用了它自己。后面我们将上面的伪代码转换为Python代码，这里我们需要了解算法是如何划分数据集的。

决策树的一般流程

（1）收集数据：可以使用任何方法；

（2）准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化；

（3）分析数据：可以使用任何方法，构造树完成后，我们应该检查图形是否符合预期；

（4）训练算法：构造树的数据结构；

（5）测试算法：使用经验树计算错误率

（6）使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义。

一些决策树算法采用二分法划分数据。如果依据某个属性划分数据将会产生四个可能的值，我们把数据划分成四块，并创建四个不同的分支。本章我们将使用ID3算法划分数据集，该算法处理如何划分数据集，何时停止划分数据集。每次划分数据集时我们只选取一个特征属性，如果训练集中存在20个特征，第一次我们选取哪个特征作为划分的参考属性呢？

下表中包含了5个海洋动物，特征包括：不浮出水面是否可以生存，以及是否有脚蹼。我们可以将这些动物划分为两类：鱼类和非鱼类。现在我们想要决定依据第一个特征还是第二个特征划分数据。在回答这个问题之前，我们必须采用量化的方法判断如何划分数据。

编号	不浮出水面是否可以生存	是否有脚蹼	属于鱼类
1	是	是	是
2	是	是	是
3	是	否	否
4	否	是	否
5	否	是	否

一. 信息增益

划分数据集的最大原则是：将无序的数据变得更加有序。我们可以使用多种方法划分数据集，但是每种算法都有各自的优缺点。组织杂乱无章数据的另一种方法就是使用信息论度量信息，信息论是量化处理信息的分支科学。我们可以在划分数据之前使用信息论量化度量信息的内容。

在划分数据集之前之后信息发生的变化成为信息增益，知道如何计算信息增益，我们就可以计算每个特征值划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。在可以评测哪种数据划分方式是最好的数据划分之前，我们必须先学习计算信息增益。集合信息的度量方式成为香农熵或称为熵。如果看不明白什么是信息增益（information gain）和熵（entropy）请不要着急。熵定义为信息的期望值，在明确这个概念之前，我们必须知道信息的定义。如果待分类的事务可能划分在多个分类中，则符号x_{i 的信息定义为：}

_{其中p(x_i)是选择该分类的概率，为了计算熵，我们需要计算所有类别所有可能包含的信息的期望值，通过下面的公式得到：}

_{其中n是分类的数目。}

_{下面我们将学习如何使用Python计算信息熵，创建名为tree.py的文件，输入下面的代码内容，下面代码的功能就是计算信息熵：}

from math import log
def calcShannonEnt(dataSet):
	numEntries=len(dataSet)
	labelCounts={}
	for featVec in dataSet:
		currentLabel=featVec[-1]
		if currentLabel not in labelCounts.keys():
			labelCounts[currentLabel]=0
		labelCounts[currentLabel]+=1
	shannonEnt=0.0
	for key in labelCounts:
		prob=float(labelCounts[key])/numEntries
		shannonEnt=prob*log(prob,2)
	return shannonEnt

上面的程序非常简单。首先，计算数据集中实例的总数，我们也可以在需要时再计算这个值，但是由于代码中多次用到这个值，为了提高代码效率，我们显示的申明一个变量保存实例总数。然后，创建一个数据字典，它的键值是最后一列的数值。如果当前键值不存在，则扩展字典并将其加入当前字典。每个键值都记录了当前类别出现的次数。最后，我们所用类标签发生频率计算出类别出现的概率。我们将用这个概率计算香农熵，统计所有类标签发生的次数。下面我们看如何使用熵划分数据集。

_{在tree.py文件中，我们可以利用creatDataSet()函数得到上表中的简单鱼鉴定数据集，你可以输入自己的createDataSet()函数：}

def createDataSet():
	dataSet=[[1,1,'yes'],[1,1,'yes'],[1,0,'no'],[1,1,'yes'],[0,1,'no'],[0,1,'no']]
	labels=['no surfacing','flippers']
	return dataSet,labels

在Python命令行中输入下列命令：

_{熵越高，则混合的数据也越多，我们可以在数据集中添加更多的分类，观察熵是如何变化的，这我们增加第三个名为maybe的分类，测试熵的变化：}