决策树初步学习

【实验要求及步骤】
使用决策树预测隐形眼镜类型，可以帮助人们判断需要佩戴的镜片类型。
（1）收集数据：提供文本文件【lenses.txt】
（2）准备数据：解析tab键分隔的数据行。
（3）分析数据：快速检查数据，确保正确的解析数据内容，使用createPlot()函数绘制最终的树形图。
（4）训练算法：使用代码参考中的createTree(）函数。
（5）测试算法：编写测试函数验证决策树可以正确分类给定的数据实例。
（6）使用算法：存储树的数据结构，以便下次使用时无需重新构造树。
【数据说明】lenses.txt的每一行包含5个数据，前四个分别为患者的属性age、prescript、astigmatic、tearRate，第五个为隐形眼镜类型包括硬材质、软材质以及不适合佩戴隐形眼镜。
【代码参考1】
from math import log
import operator

def createDataSet():
dataSet = [[1, 1, ‘yes’],
[1, 1, ‘yes’],
[1, 0, ‘no’],
[0, 1, ‘no’],
[0, 1, ‘no’]]
labels = [‘no surfacing’,‘flippers’]
#change to discrete values
return dataSet, labels

def calcShannonEnt(dataSet):
numEntries = len(dataSet)
labelCounts = {}
for featVec in dataSet: #the the number of unique elements and their occurance
currentLabel = featVec[-1]
if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0
labelCounts[currentLabel] += 1
shannonEnt = 0.0
for key in labelCounts:
prob = float(labelCounts[key])/numEntries
shannonEnt -= prob * log(prob,2) #log base 2
return shannonEnt

def splitDataSet(dataSet, axis, value):
retDataSet = []
for featVec in dataSet:
if featVec[axis] == value:
reducedFeatVec = featVec[:axis] #chop out axis used for splitting
reducedFeatVec.extend(featVec[axis+1:])
retDataSet.append(reducedFeatVec)
return retDataSet

def chooseBestFeatureToSplit(dataSet):
numFeatures = len(dataSet[0]) - 1 #the last column is used for the labels
baseEntropy = calcShannonEnt(dataSet)
bestInfoGain = 0.0; bestFeature = -1
for i in range(numFeatures): #iterate over all the features
featList = [example[i] for example in dataSet]#create a list of all the examples of this feature
uniqueVals = set(featList) #get a set of unique values
newEntropy = 0.0
for value in uniqueVals:
subDataSet = splitDataSet(dataSet, i, value)
prob = len(subDataSet)/float(len(dataSet))
newEntropy += prob * calcShannonEnt(subD