Python3：《机器学习实战》之决策树算法（1）算法概述

作原理如下：得到原始数据，然后基于最好的属性值划分数据集。第一次划分之后，数据将被向下传递到树分支的下一个节点，在这个节点上，可以再次划分数据（递归）。

  递归结束的条件：程序遍历完所有划分数据集的属性，或者每个分支下的所有实例都具有相同的分类。如果所欲实例都具有相同的分类，则得到一个叶子节点或者终止块。任何到达叶子节点的数据必须属于叶子节点的分类，如下图：

  如果数据集已经处理了所有的属性，但是类标签依然不是唯一的，此时我们需要决定如何定义该叶子节点，在这种情况下，书中采用的是多数表决的方法决定该叶子节点的分类。

  编写majorityCnt(classList)函数，进行多数表决，这里和k-近邻算法里面的classify0部分的投票表决代码非常类似。

代码实现：

def majorityCnt(classList):
    """
    Function：   决定叶子结点的分类

    Args：       classList：分类列表

    Returns：    sortedClassCount[0][0]：叶子结点分类结果
    """     
    #创建字典
    classCount={}
    #给字典赋值
    for vote in classList:
        #如果字典中没有该键值，则创建
        if vote not in classCount.keys():
            classCount[vote] = 0
        #为每个键值计数
        classCount[vote] += 1
    #对classCount进行排序
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    #返回叶子结点分类结果
    return sortedClassCount[0][0]
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

  编写createTree(dataSet, labels)函数，创建树

代码实现：

def createTree(dataSet, labels):
    """
    Function：   创建树

    Args：       dataSet：数据集
                labels：标签列表

    Returns：    myTree：创建的树的信息
    """ 
    #创建分类列表
    classList = [example[-1] for example in dataSet]
    #类别完全相同则停止划分
    if classList.count(classList[0]) == len(classList):
        return classList[0]
    #遍历完所有特征时返回出现次数最多的类别
    if len(dataSet[0]) == 1:
        return majorityCnt(classList)
    #选取最好的分类特征
    bestFeat = chooseBestFeatureToSplit(dataSet)
    bestFeatLabel = labels[bestFeat]
    #创建字典存储树的信息
    myTree = {bestFeatLabel:{}}
    del(labels[bestFeat])
    #得到列表包含的所有属性值
    featValues = [example[bestFeat] for example in dataSet]
    #从列表中创建集合
    uniqueVals = set(featValues)
    #遍历当前选择特征包含的所有属性值
    for value in uniqueVals:
        #复制类标签
        subLabels =labels[:]
        #递归调用函数createTree()，返回值将被插入到字典变量myTree中
        myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value), subLabels)
    #返回字典变量myTree
    return myTree
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

输出结果：

>>> reload(trees)
<module 'trees' from 'E:\\机器学习实战\\mycode\\Ch03\\trees.py'>
>>> myDat, labels = trees.createDataSet()
>>> myTree = trees.createTree(myDat, labels)
>>> myTree
{'no surfacing': {0: 'no', 1: {'flippers': {0: 'no', 1: 'yes'}}}}
 
 
1
2
3
4
5
6

  变量myTree包含了很多代表树结构信息的嵌套字典，从左边开始，第一个关键字no surfacing是第一个划分数据集的特征名称，该关键字的值也是另一个数据字典。第二个关键字是no surfacing特征划分的数据集，这些关键字的值是no surfacing节点的子节点。这些值可能是类标签，也可能是另一个数据字典，如果值是标签，则该子节点是叶子结点；如果是另一个数据字典，则子节点是一个判断节点，这种格式结构不断重复就构成了整棵树。

系列教程持续发布中，欢迎订阅、关注、收藏、评论、点赞哦～～(￣▽￣～)～

完的汪(∪｡∪)｡｡｡zzz