一只菜鸡的决策树入门（二）

    前期准备的基础理论，熵的计算，按照给定特征划分数据集，找出划分数据集的最优特征，但有些时候，数据集处理了所有属性，不过得到的类标签依然不是唯一的，书上说用之前KNN里面涉及的频次统计方法，遵从少数服从多数给该叶子节点分类，

import operator

def majorKind(dataList):
    majorFeat = {}
    for featVec in dataList.keys():
        if majorFeat[featVec] not in majorFeat:
            majorFeat[featVec] = 0
        majorFeat[featVec] += 1
    sortedMajorFeat = sorted(majorFeat.items(),key=operator.itemgetter(1),reverse=True)
    return sortedMajorFeat[0][0]
        

把这些肥料组合一下，开始种树：

def createMytree(dataSet,Labels):
    classList = [example[-1] for example in dataSet] #判断待分类数据集是否为同一类
    if len(dataSet) == classList.count(classList[0]):
        return classList[0]
    if len(dataSet[0]) == 1: #判断是否已无其他属性可分类
        return majorKind(classList) #选取频次最高的类标签最为该叶子节点的分类
    bestFeat = findbestfeature(dataSet) #划分数据集的最优特征
    bestFeatLabel = Labels[bestFeat]
    myTree = {bestFeatLabel:{}}
    del(Labels[bestFeat])
    subfeat = [example[bestFeat] for example in dataSet] #选取最优分类的属性做之后的分类特征
    uniqfeat = set(subfeat)
    for value in uniqfeat: #根据特征连续划分，得到的值插入myTree中
        subLabels = Labels[:]
        myTree[bestFeatLabel][value] = createMytree(splitdataset(dataSet,bestFeat,value),
                                                    subLabels)
    return Mytree
    

一脸懵逼，哎