《机器学习实战》学习笔记三：决策树

1.信息增益
决策树应该是比较简单的概念了，其结构类似于二叉树，从根节点向下依次判断，直至叶子节点获得结果。对于基本结构不多说了，这里主要说一下和决策树相关的两个数学上的概念，即信息增益和香农熵。信息增益是指的以某一个特征对数据集划分前后数据集发生的变化，而香农熵则是度量这一变化的量。
香农熵的计算公式如下：

计算香农熵的代码：

def calcShannonEnt(dataSet): #计算香农熵
    numEntries = len(dataSet)
    labelCounts = {}
    for featVec in dataSet:
        currentLabel = featVec[-1]
        if currentLabel not in labelCounts.keys():#返回所有键值
            labelCounts[currentLabel] = 0
        labelCounts[currentLabel] += 1 #统计该类别出现的次数
        shannonEnt = 0.0
        for key in labelCounts:
            prob = float(labelCounts[key])/numEntries
            shannonEnt -= prob * log(prob,2)
        return shannonEnt

以上代码比较简单，在数据集中数据是以[1,1,’yes’]这样的形式存放的，最后一个元素即为标签，以此为基础，建立一个空字典统计各个标签出现的次数，以每个标签出现的次数做分子来计算标签出现的概率，计算香农熵。

2.划分数据集
这一步我们需要两个函数，一个是按照给定的特征划分数据集，另一个是选择如何选择划分效果最好的特征。
按照给定的特征划分数据集代码：

def splitDataSet(dataSet,axis,value):
    retDataSet = []
    for featVec in dataSet:
        if featVec[axis]==value:
            reducedFeatVec = featVec[:axis]
            reducedFeatVec.extend(featVec[axis+1:])
            retDataSet.append(reducedFeatVec)
    return retDataSet

以上代码使用了三个参数，带划分的数据集、给定的特征、需要返回的特征的值。这里首先建立一个空列表用来存储返回的数据集合，然后遍历数据集，找到数据集中符合给定特征要求的值的元素，将其抽出来并添加到新的列表中。
在这里要注意的是extend（）和append（）两种方法看起来相似，其实大有不同，在处理列表和单个元素时两者功能一样，但是当处理两个列表时就不同了，append（）是将第二个元素以列表的形式加入到第一个列表中的，比如a=[1,2,3],b=[4,5,6], a.extend(b) 的结果是[1,2,3,4,5,6]，a.append(b)的结果是[1,2,3,[4,5,6]]是直接将列表b整个作为第4个元素加入到列表a的。

选择最好的划分方式的代码如下：

def chooseBestFeatureToSplit(dataSet):
    numFeatures = len(dataSet[0])-1 #数据集的长度
    baseEntropy = calcShannonEnt(dataSet)  #初始数据集的熵
    bestInfoGain = 0.0                     #初始化最优信息增益
    bestFeature = -1                      #最优特征的位置
    for i in range (numFeatures):       #遍历特征集
        featList = [example[i]for example in dataSet]  #各元素中特征i的特征值的集合
        uniqueVals= set(featList)    #建立一个无序不重复的特征值的集合
        newEntropy= 0.0
        for value in uniqueVals:                       #遍历特征值集
            subDataSet = splitDataSet(dataSet,i,value)  #划分后的子集
            prob = len(subDataSet)/float(len(dataSet))  #划分后子集的概率
            newEntropy+=prob*calcShannonEnt(subDataSet) #香农熵
        InfoGain = baseEntropy - newEntropy             #计算信息增益
        if(InfoGain>bestInfoGain):                      #判断是否为最优信息增益
            bestInfoGain = InfoGain
            bestFeature = i
    return  bestFeature                                #返回最优特征

这一部分代码主要是一个两层循环，外层是数据集中特征的遍历，内层是每一个特征对应特征值集合的遍历，用以上两个值对数据集进行划分，并得到一个划分后的子集，计算子集的香农熵，进而计算信息增益，并与最优信息增益比较，最后返回最优信息增益。

3.决策树的构建
对于以上划分数据集的方法，有可能存在类标签不唯一的情况，在这时我就需要通过多数表决的方式来确定叶子结点的分类，这一部分代码如下：

def majorityCht(classList):
    classCount={}  #建立一个空字典
    for vote in classList:
        if vote not in classCount.keys():classCount[vote]=0
        classCount[vote]+=1
    sortedclassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True) #对字典的key进行排序
    return sortedclassCount[0][0]

下面是创建决策树的代码：

def createTree(dataSet,labels):
    classList = [example[-1] for example in dataSet]  #特征的集合
    if classList.count(classList[0])==len(classList): #count()统计某个字符出现的次数
        return classList[0]                          #如果特征都相同，则返回该特征
    if len(dataSet[0])==1:                            #如果特征不唯一，则返回多数的特征
        return majorityCht(classList)
    bestFeat = chooseBestFeatureToSplit(dataSet)      #选择最优特征
    bestFeatLabel =labels[bestFeat]
    myTree = {bestFeatLabel:{}}                     #生成树的根节点
    del(labels[bestFeat])                           #删除已经生成节点的特征
    featValues = [example[bestFeat]for example in dataSet]  #获取最优类特征的值
    uniqueVals = set(featValues)                      #无序不重复集合
    for value in uniqueVals:                          #遍历特征，继续创建决策树
        subLabels = labels[:]
        myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet,bestFeat,value),subLabels)
    return myTree

4.使用决策树进行分类
代码如下：

def classify(inputTree,featLabels,testVec):
    firstStr = inputTree.keys()[0]   #取第一个特征
    secondDict = inputTree[firstStr] #第一个特征的值的集合
    featIndex = featLabels.index(firstStr)#字符串的索引
    for key in secondDict.keys():#遍历集合
        if testVec[featIndex] ==key:
            if type(secondDict[key]).__name__=='dict':#判断是否为字典类型
                classLabel = classify(secondDict[key],featLabels,testVec)#以此特征为根节点继续查找
            else: classLabel = secondDict[key]#若不是字典类型则将其视为类标签
        return classLabel

决策树的存储：

def storeTree(inputTree,filename):
    import pickle
    fw = open(filename,'wb')#python 3中需要以二进制形式打开
    pickle.dump(inputTree,fw)
    fw.close()
def grabTree(filename):
    import pickle
    fr = open(filename,'rb')#python 3 同上
    return pickle.load(fr)