机器学习实战 决策树

决策树的引出：
前一节学到了knn，在分析代码后总结到knn有一个缺点是无法给出数据的内在含义，比如说无法去研究特征的含义 只是单纯的知道特征大小。而决策树就可以非常容易的去理解数据。

总结：
1.复杂度不高，输出结果容易理解（对特征的描述），可以处理不相关特征
2.缺点是会产生过度匹配
3.只适用于标称型数据（比如是否这种选择性的特征，或合格 良好 优秀这种可用有限的离散数字描述的特征），如果要用数值型特征，需要离散化（比如工资100 200 300，可以以150作为分界点，100属于小于150类别，200 300属于大于150类别）

步骤：
0.原始数据整理为标称型数据
1.构造决策树：
- 选择最好的特征对数据集进行划分
- - 对每一个特征，划分数据集，计算划分后的信息增益，信息增益最大的说明这个特征对于数据集的划分最有效，则为最好的特征。直接对代码分解：

#根据信息增益选择最好的特征划分数据集，返回最好的特征序号    
def chooseBestFeatureToSplit(dataSet):
    numFeatures = len(dataSet[0]) - 1      
    #the last column is used for the labels 有num个特征
    baseEntropy = calcShannonEnt(dataSet)#计算划分前的熵
    #熵的计算在这部分代码之后详细分析
    bestInfoGain = 0.0; bestFeature = -1
    for i in range(numFeatures):        
    #iterate over all the features，循环每个特征，对于第i个特征
        featList = [example[i] for example in dataSet]
        #把所有样本的第i个特征取出来
        uniqueVals = set(featList)
        #得到第i个特征的unique种取值
        newEntropy = 0.0
        for value in uniqueVals:
        #对于第i个特征的每一个取值，都进行数据集划分，得到除了这个特征之外的所有特征组成的数据子集
            subDataSet = splitDataSet(dataSet, i, value)
            #输入数据集，第i个特征的序号，这个特征的取值value，输出按照这个value得到数据集，具体怎么划分之后详述
            prob = len(subDataSet)/float(len(dataSet))
            #根据这个特征值划分数据集之后，得到划分后数据集所占的比例
            newEntropy += prob * calcShannonEnt(subDataSet)
            #根据数据子集，计算条件熵    
        infoGain = baseEntropy - newEntropy
        #得到按照这个特征划分数据集，前后的信息增益
        if (infoGain > bestInfoGain):
            bestInfoGain = infoGain
            bestFeature = i
    return bestFeature #返回信息增益最大的特征序号，第i个特征 

def calcShannonEnt(dataSet):#计算数据集的熵，注意是对类别计算熵
    numEntries = len(dataSet)#总样本数
    labelCounts = {}
    for featVec in dataSet: 
    #对每一个样本分析
        currentLabel = featVec[-1]#取出最后一列，即类别
        if currentLabel not in labelCounts.keys():
            labelCounts[currentLabel] = 0
        labelCounts[currentLabel] += 1#计算这个类别的样本的样本数
    shannonEnt = 0.0
    for key in labelCounts:
        prob = float(labelCounts[key])/numEntries#计算这个类别的频率，作为概率
        shannonEnt -= prob * log(prob,2) #log base 2求熵
    return shannonEnt

def splitDataSet(dataSet, axis, value):
#根据第axis个特征，划分特征值为value的数据，得到新的数据集
    retDataSet = []
    for featVec in dataSet:#循环所有数据集样本
        if featVec[axis] == value:#如果第axis个特征的值为value
            reducedFeatVec = featVec[:axis]
            reducedFeatVec.extend(featVec[axis+1:])
            #那么把除这个特征值之外的特征保存为新的数据集dataset
            retDataSet.append(reducedFeatVec)
    return retDataSet

• 通过上一个步骤，得到了这个最好特征的序号，通过去找标签中这个特征的名字，记为这个决策树第一个判断节点。（注意这个标签不是数据集的分类标签，而是特征序号对应的特征名字标签）
• 根据这个特征的不同取值，把数据集划分成几个数据子集。再对这些数据子集，递归调用构造决策树，得到下一个决策树判断节点。
• 停止条件是，当这个特征划分的数据子集只有一个类别，说明划分完毕，得到叶节点和其类别；当所有特征被用作划分条件划分完毕，选择数据子集中出现最多次数的类别作为这个叶节点的类别。
  代码分析如下：

#创建决策树
def createTree(dataSet,labels):#输入的标签是特征名字
    classList = [example[-1] for example in dataSet]
    #得到数据集类别的列表
    if classList.count(classList[0]) == len(classList):#如果所有数据集类别都相同，说明划分完毕，返回这个类别 
        return classList[0]
    if len(dataSet[0]) == 1: 
        #如果数据集里面已经没有可用的特征，说明特征划分完毕，返回叶节点的类别
        return majorityCnt(classList)
    #以上都不满足，则进行划分
    bestFeat = chooseBestFeatureToSplit(dataSet)
    #得到最好特征的序号
    bestFeatLabel = labels[bestFeat]#和这个特征的名字
    myTree = {bestFeatLabel:{}}#决策树里放入这个特征名字

    del(labels[bestFeat])
#把这个最好特征的值都拿出来
    uniqueVals = set(featValues)#看这个特征有几种取值类型
    for value in uniqueVals:#对每一种类型都进行数据集划分
        subLabels = labels[:]
        myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value),subLabels)
        #决策树中，一个最好特征的名字，对应可以划分成不同类型value的数据子集，再对这些子集递归构造决策树
    return myTree                            

2.使用决策树进行分类
- 输出测试样本的特征列表，按照决策树的判断节点的特征，一步步判断此测试样本相应特征的值，一直到叶节点，叶节点的类别即为测试样本的类别。
代码分析：

#测试数据    
def classify(inputTree,featLabels,testVec):
    #输入已构造好的决策树，特征名字标签（特征序号对应的特征名字），测试数据，返回测试数据的类别
    firstStr = inputTree.keys()[0]#得到决策树第一个判断节点上需要判断的特征的名字
    secondDict = inputTree[firstStr]
    #得到这个节点后的决策树
    featIndex = featLabels.index(firstStr)
    #去标签中找这个判断特征名字对应的特征序号
    key = testVec[featIndex]#得到测试样本中这个特征的值
    valueOfFeat = secondDict[key]#根据这个特征值去找决策树中后面的决策树
    if isinstance(valueOfFeat, dict):
    #如果后面的决策树仍为字典形式，说明后面仍需要进行特征判断，递归此分类算法 
        classLabel = classify(valueOfFeat, featLabels, testVec)
    else: classLabel = valueOfFeat
    #直到后面的决策树已经到了叶节点，说明分类完毕，返回叶节点的类别
    return classLabel

tips：
- 实际运行中会把已经构造好的决策树存储起来，方便调用
- 决策树的形式：

{'no surfacing': {0: 'no', 1: {'flippers': {0: 'no', 1: 'yes'}}}}

• 字典形式，首先是第一个需要判断的特征的名字，它的键值又是一个字典，当值为0时（也就是这个特征值=0）得到叶节点，也就是类型为no；当值为1（特征值=1）时又得到一个字典，也就是继续进行特征划分，这个特征的名字是flipper，当这个特征值=0时，得到类别no；当这个特征值=1时，得到类别yes。
• 对应决策树构造的主程序里，也可以看到每次存储特征名字，再存储特征值，再存储这个特征名字当特征值为某个数的时候递归调用主程序。
• 分类时也是如此，每次选择决策树 字典的第一个key，去找测试样本中这个key的value，用字典中key对应的value的值再递归判断。