机器学习实战-决策树的构造（上）

程序清单3-1：

from math import log

def createDataSet():
    dataSet = [[1,1,'yes'],[1,1,'yes'],[1,0,'no'],[0,1,'no'],[0,1,'no']]
    labels = ['no surfacing','flippers']
    return dataSet,labels

def clacShannonEnt(dataSet):#计算给定数据集的香农熵
    numEntries = len(dataSet)#获得数据集中实例的数量
    labelCounts = {}
    for featVec in dataSet:
        currentLabel = featVec[-1]#将每个实例的最后一个元素赋值给currentLabel，在本例中即'yes','no'
        if currentLabel not in labelCounts.keys():#字典的keys方法获得字典所有键值
            labelCounts[currentLabel] = 0
        labelCounts[currentLabel] +=1#这里首先创建了一个字典，字典起初什么都没有，if语句为字典创建了新的键，并且记录下每个类型出现的次数
    shannonEnt = 0.0
    for key in labelCounts:
        prob = float(labelCounts[key])/numEntries#计算每一类出现的概率
        shannonEnt -= prob*log(prob,2)#计算熵，实现书中所给的公式
    return shannonEnt

看一下运行结果

>>> import trees as t
>>> d,l = t.createDataSet()
>>> d
[[1, 1, 'yes'], [1, 1, 'yes'], [1, 0, 'no'], [0, 1, 'no'], [0, 1, 'no']]
>>> l
['no surfacing', 'flippers']
>>> t.clacShannonEnt(d)
0.9709505944546686
>>> 

程序清单3-2

def splitDataSet(dataSet,axis,value):#按照给定特征划分数据集，dataSet为待划分的数据集，axis为划分数据的特征，value为需要返回的特征的值
    retDataSet = []#这里需要创建一个新的列表，因为在函数内部对列表的修改，将影响到整个函数周期
    for featVec in dataSet:
        if featVec[axis] == value:
            reducedFeatVec = featVec[:axis]#featVec[a:b]的功能是截取列表中第a到b的元素，包括第a个但不包括第b个，这里就实现了将选定特征之前的特征赋值给reducedFeatVec
            reducedFeatVec.extend(featVec[axis+1:])#这里用到extend方法将选定特征之后的元素添加到reducedFeatVec
            retDataSet.append(reducedFeatVec)#到这里就完成了划分，只要符合条件的元素，都将按照给定的特征值一一划分出来，然后用append方法添加到retDataSet中
    return retDataSet

看一下运行结果

>>> import trees as t
>>> d,l = t.createDataSet()
>>> t.splitDataSet(d,0,1)
[[1, 'yes'], [1, 'yes'], [0, 'no']]

程序清单3-3

def chooseBestFeatureToSpilt(dataSet):#选择最好的数据计划分方式
    numFeatures = len(dataSet[0]) - 1#获得给定数据集中每个数据所包含的元素数目，减去1是因为索引从零开始
    baseEntropy = clacShannonEnt(dataSet)#计算给定数据集的香农熵并赋值给bestEntropy
    bestInfoGain = 0.0; bestFeature = -1
    for i in range(numFeatures):
        featList = [example[i] for example in dataSet]#取第0和第1个索引对应的值添加到featlist中
        uniqueVals = set(featList)#set函数创建一个无需不重复元素集，这里为什么要求不重复呢?笔者猜想可能是为了减少计算次数，因为如果列表中元素都为1，则下面的循环将重复计算value为1的情况，得到的结果却是相同的
        newEntropy = 0.0
        for value in uniqueVals:
            subDataSet = splitDataSet(dataSet,i,value)#按照第i个特征划分数据集
            prob = len(subDataSet)/float(len(dataSet))#对这一部不是很明白，也许是信息论知识匮乏
            newEntropy += prob*clacShannonEnt(subDataSet)
        infoGain = baseEntropy - newEntropy#原始数据记得熵减去划分之后的数据集的熵
        if (infoGain>bestInfoGain):
            bestInfoGain = infoGain
            bestFeature = i#比较按照各个特征值划分后的数据集的信息增益
    return bestFeature#返回最好特征划分的索引值

看一下运行结果：

>>> import trees as t
>>> d,l = t.createDataSet()
>>> t.chooseBestFeatureToSpilt(d)
0