机器学习实践学习笔记3 decision trees

最新推荐文章于 2024-04-03 09:49:25 发布

fengsser

最新推荐文章于 2024-04-03 09:49:25 发布

阅读量2.1k

点赞数

分类专栏： Machine learning

本文链接：https://blog.csdn.net/fengsser/article/details/48047257

版权

Machine learning 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

决策树（decision trees）

工作原理：

决策树属于监督类型的算法，同样，我们有数据集，知道每一条数据的分类。然后我们按照某种规则，选取数据集上的特征作为分割点，把数据集进行划分。循环重复以上动作，直至所有数据集各自的分类都是唯一的，或者所有特征已经被选择无法再进行划分。使用何种规则进行特征的选取下文将会叙述。

优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。

缺点：可能会产生过度匹配问题。

适用数据类型：数值型和标称型。

伪代码：

CreateBranch():

IF 数据集里的数据都属于同一个分类 RETURN 分类

ELSE

根据规则寻找用于划分数据集的特征

划分数据集

创建分支节点

for 循环每个子数据集

递归调用CreateBranch()并把结果放在创建的分支节点中

RETURN 分支节点

python代码：

def createTree(dataSet,labels):
	classList = [example[-1] for example in dataSet]
	if classList.count(classList[0]) == len(classList):#类别完全相同
		return classList[0]
	if len(dataSet[0]) == 1:#特征抽取完，但类别还不完全相同
		return majorityCnt(classList)
	bestFeat = chooseBestFeatureToSplit(dataSet)
	bestFeatLabel = labels[bestFeat]
	myTree = {bestFeatLabel:{}}#创建节点
	del(labels[bestFeat])
	featValues = [example[bestFeat] for example in dataSet]
	uniqueVals = set(featValues)
	for value in uniqueVals:#划分，创建子树
		subLabels = labels[:]
		myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet,bestFeat,value),subLabels)
	return myTree

部分函数将会在下文说明。

选取用于划分数据集特征的规则:

划分数据的大原则是使无序的数据变得相对有序。划分数据后的有序程度，与划分数据前的有序程度之间的差，称为信息增益（Information gain）。可以使用熵（entropy）来计算数据的无序程度。熵越高，则数据的无序程度越高。

要计算熵，首先要了解熵的定义。熵的定义为：信息的期望值。信息的定义为：如果待分类的事物可能划分在多个分类之中，则）xi（分类为第i种的信息定义为

其中p(xi)是选择该分类的概率。

那么可以这样计算熵：

其中，n是分类的数目，i是第i个分类。

由此，可以创建用于计算给定数据集熵的python函数

def calcShannonEnt(dataSet):
	numEntries = len(dataSet)
	labelCounts = {}
	for featVec in dataSet:
		currentLabel = featVec[-1]
		if currentLabel not in labelCounts.keys():
		labelCounts[currentLabel] = 0
		labelCounts[currentLabel] += 1
	shannonEnt = 0.0
	for key in labelCounts:
		prob = float(labelCounts[key])/numEntries
		shannonEnt -= prob * log(prob,2)
	return shannonEnt

可以利用以下函数创建简单的测试数据

def createDataSet():
	dataSet = [[1, 1, 'yes'],
		[1, 1, 'yes'],
		[1, 0, 'no'],
		[0, 1, 'no'],
		[0, 1, 'no']]
labels = ['no surfacing','flippers']
return dataSet, labels

在此操作之前，先来实现根据任意给定的特征切割数据集的函数。

def splitDataSet(dataSet,axis,value):
	retDataSet = []
	for featVec in dataSet:
		if featVec[axis] == value:#把复合条件的数据除去axis列塞进retDataSet
			reducedFeatvec = featVec[:axis]
			reducedFeatvec.extend(featVec[axis+1:]);#axis列并不复制
			retDataSet.append(reducedFeatvec)
	return retDataSet

接下来，对每一个特征都进行划分，然后计算划分后的熵，找出最适合进行划分的特征：

def chooseBestFeatureToSplit(dataSet):
	numFeatures = len(dataSet[0]) - 1 #特征数，最后一个是分类所以要减1
	baseEntropy = calcShannonEnt(dataSet)#划分前的熵
	bestInfoGain = 0.0;bestFeature = -1
	for i in range(numFeatures):
		featList = [example[i] for example in dataSet]#提取低i列的所有值
		uniqueVals = set(featList)#通过set函数，筛选值
		newEntropy = 0.0
		for value in uniqueVals:
			subDataSet = splitDataSet(dataSet,i,value)
			prob = len(subDataSet)/float(len(dataSet))#概率
			newEntropy += calcShannonEnt(subDataSet)
		infoGain = baseEntropy - newEntropy
		if(infoGain > bestInfoGain):
			bestInfoGain = infoGain
			bestFeature = i
	return bestFeature

递归构建决策树：

首先是递归结束条件：

1）子集全部属于同一种分类

2）如果特征已被提取完，选取子集分类数目最多的分类作为返回值

def majorityCnt(classList):
	classCount = {}
	for vote in classList:
		if vote not in classCount.keys():classCount[vote] = 0
		classCount[vote] += 1
	sortedClassCount = sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)
	return sortedClassCount[0][0]

def createTree(dataSet,labels):
	classList = [example[-1] for example in dataSet]
	if classList.count(classList[0]) == len(classList):#类别完全相同
		return classList[0]
	if len(dataSet[0]) == 1:#特征抽取完，但类别还不完全相同
		return majorityCnt(classList)
	bestFeat = chooseBestFeatureToSplit(dataSet)
	bestFeatLabel = labels[bestFeat]
	myTree = {bestFeatLabel:{}}#创建节点
	del(labels[bestFeat])
	featValues = [example[bestFeat] for example in dataSet]
	uniqueVals = set(featValues)
	for value in uniqueVals:#划分，创建子树
		subLabels = labels[:]
		myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet,bestFeat,value),subLabels)
	return myTree

至此，决策树构造完毕。

构造结果：

使用决策树：

def classify(inputTree,featLabels,testVec):
	firstStr = inputTree.keys()[0]
	secondDict = inputTree[firstStr]
	featIndex = featLabels.index(firstStr)
	for key in secondDict.keys():
		if testVec[featIndex] == key:#比较特征值，决策树是根据特征的值划分的
			if type(secondDict[key]).__name__=='dict':#比较是否到达叶结点
				classLabel = classify(secondDict[key],featLabels,testVec)#递归调用
			else: classLabel = secondDict[key]
	return classLabel

决策树至此完毕，还有一些问题，如树的字典表示并不好阅读，可以使用Matplotlib绘制树形图，储存生成好的决策树在硬盘上，以免重复生成耗时等。这里暂时不述。决策树还有其他生成方法，如C4.5,CART等，将在后面章节探讨。