程序清单3-1:
from math import log
def createDataSet():
dataSet = [[1,1,'yes'],[1,1,'yes'],[1,0,'no'],[0,1,'no'],[0,1,'no']]
labels = ['no surfacing','flippers']
return dataSet,labels
def clacShannonEnt(dataSet):#计算给定数据集的香农熵
numEntries = len(dataSet)#获得数据集中实例的数量
labelCounts = {}
for featVec in dataSet:
currentLabel = featVec[-1]#将每个实例的最后一个元素赋值给currentLabel,在本例中即'yes','no'
if currentLabel not in labelCounts.keys():#字典的keys方法获得字典所有键值
labelCounts[currentLabel] = 0
labelCounts[currentLabel] +=1#这里首先创建了一个字典,字典起初什么都没有,if语句为字典创建了新的键,并且记录下每个类型出现的次数
shannonEnt = 0.0
for key in labelCounts:
prob = float(labelCounts[key])/numEntries#计算每一类出现的概率
shannonEnt -= prob*log(prob,2)#计算熵,实现书中所给的公式
return shannonEnt
看一下运行结果
>>> import trees as t
>>> d,l = t.createDataSet()
>>> d
[[1, 1, 'yes'], [1, 1, 'yes'], [1, 0, 'no'], [0, 1, 'no'], [0, 1, 'no']]
>>> l
['no surfacing', 'flippers']
>>> t.clacShannonEnt(d)
0.9709505944546686
>>>
程序清单3-2
def splitDataSet(dataSet,axis,value):#按照给定特征划分数据集,dataSet为待划分的数据集,axis为划分数据的特征,value为需要返回的特征的值
retDataSet = []#这里需要创建一个新的列表,因为在函数内部对列表的修改,将影响到整个函数周期
for featVec in dataSet:
if featVec[axis] == value:
reducedFeatVec = featVec[:axis]#featVec[a:b]的功能是截取列表中第a到b的元素,包括第a个但不包括第b个,这里就实现了将选定特征之前的特征赋值给reducedFeatVec
reducedFeatVec.extend(featVec[axis+1:])#这里用到extend方法将选定特征之后的元素添加到reducedFeatVec
retDataSet.append(reducedFeatVec)#到这里就完成了划分,只要符合条件的元素,都将按照给定的特征值一一划分出来,然后用append方法添加到retDataSet中
return retDataSet
看一下运行结果
>>> import trees as t
>>> d,l = t.createDataSet()
>>> t.splitDataSet(d,0,1)
[[1, 'yes'], [1, 'yes'], [0, 'no']]
程序清单3-3
def chooseBestFeatureToSpilt(dataSet):#选择最好的数据计划分方式
numFeatures = len(dataSet[0]) - 1#获得给定数据集中每个数据所包含的元素数目,减去1是因为索引从零开始
baseEntropy = clacShannonEnt(dataSet)#计算给定数据集的香农熵并赋值给bestEntropy
bestInfoGain = 0.0; bestFeature = -1
for i in range(numFeatures):
featList = [example[i] for example in dataSet]#取第0和第1个索引对应的值添加到featlist中
uniqueVals = set(featList)#set函数创建一个无需不重复元素集,这里为什么要求不重复呢?笔者猜想可能是为了减少计算次数,因为如果列表中元素都为1,则下面的循环将重复计算value为1的情况,得到的结果却是相同的
newEntropy = 0.0
for value in uniqueVals:
subDataSet = splitDataSet(dataSet,i,value)#按照第i个特征划分数据集
prob = len(subDataSet)/float(len(dataSet))#对这一部不是很明白,也许是信息论知识匮乏
newEntropy += prob*clacShannonEnt(subDataSet)
infoGain = baseEntropy - newEntropy#原始数据记得熵减去划分之后的数据集的熵
if (infoGain>bestInfoGain):
bestInfoGain = infoGain
bestFeature = i#比较按照各个特征值划分后的数据集的信息增益
return bestFeature#返回最好特征划分的索引值
看一下运行结果:
>>> import trees as t
>>> d,l = t.createDataSet()
>>> t.chooseBestFeatureToSpilt(d)
0