基于ID3算法解决决策树问题

1. 决策树的基本认识

   决策树是一种依托决策而建立起来的一种树。在机器学习中，决策树是一种预测模型，代表的是一种对象属性与对象值之间的一种映射关系，每一个节点代表某个对象，树中的每一个分叉路径代表某个可能的属性值，而每一个叶子节点则对应从根节点到该叶子节点所经历的路径所表示的对象的值。决策树仅有单一输出，如果有多个输出，可以分别建立独立的决策树以处理不同的输出。

2、信息增益和熵

在决策树分类中，信息增益体现了从一个未分类集合根据某个特征划分后形成两个已分类集合时信息不确定性的减少。特征的信息增益越大，表明该特征对分类的贡献程度越高。熵是对不确定性的度量。香农引入了信息熵，将其定义为离散随机事件出现的概率，一个系统越是有序，信息熵就越低。所以信息熵可以被认为是系统有序化程度的一个度量。

   意思是一个变量的变化情况可能越多，那么它携带的信息量就越大。

3、ID3算法的基本步骤

ID3算法的核心是在决策树各个结点上对应信息增益准则选择特征，递归地构建决策树。具体方法是：从根结点(root node)开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子节点；再对子结点递归地调用以上方法，构建决策树；直到所有特征的信息增益均很小或没有特征可以选择为止。最后得到一个决策树。ID3相当于用极大似然法进行概率模型的选择。

4、代码实现决策树构建

import operator

from math import log

# 计算给定数据集的熵

def calcShannonEnt(dataSet):

    numEntries = len(dataSet)                          #获得数据集的行数

    labelCounts = {}                                   #用于保存每个标签出现次数的字典

    for featVec in dataSet:

        currentLabel = featVec[-1]                     #提取标签信息

        if currentLabel not in labelCounts.keys():     #如果标签未放入统计次数的字典，则添加进去

            labelCounts[currentLabel] = 0

        labelCounts[currentLabel] += 1                 #标签计数

    shannonEnt = 0.0                                   #熵初始化

    for key in labelCounts:

        prob = float(labelCounts[key])/numEntries      #选择该标签的概率

        shannonEnt -= prob*log(prob, 2)                #以2为底求对数

    return shannonEnt                                  #返回经验熵

# 按照给定特征划分数据集

def splitDataSet(dataSet,axis,value):                  #dataSet：带划分数据集   axis：划分数据集的特征   value：需要返回的特征的值

    retDataSet=[]                                      #创建新的list对象

    for featVec in dataSet:                            #遍历元素

        if featVec[axis] == value:                     #符合条件的，抽取出来

            reducedFeatVec = featVec[:axis]

            reducedFeatVec.extend(featVec[axis+1:])

            retDataSet.append(reducedFeatVec)

    return retDataSet

# 选择最好的数据集划分方式 ID3算法——信息增益

def chooseBestFeatureToSplit(dataSet):

    numFeatures = len(dataSet[0]) - 1       #特征数量

    baseEntropy = calcShannonEnt(dataSet)   #计数数据集的香农熵

    bestInfoGain = 0.0                      #信息增益

    bestFeature = -1                        #最优特征的索引值

    for i in range(numFeatures):            #遍历数据集的所有特征

        featList = [example[i] for example in dataSet]          #获取dataSet的第i个所有特征

        uniqueVals = set(featList)                              #创建set集合{}，元素不可重复

        newEntropy = 0.0                                        #信息熵

        for value in uniqueVals:                                #循环特征的值

            subDataSet = splitDataSet(dataSet, i, value)        #subDataSet划分后的子集

            prob = len(subDataSet) / float(len(dataSet))        #计算子集的概率

            newEntropy += prob * calcShannonEnt((subDataSet))

        infoGain = baseEntropy - newEntropy                     #计算信息增益

        print("第%d个特征的信息增益为%.3f" % (i, infoGain))      #打印每个特征的信息增益

        if (infoGain > bestInfoGain):                           #计算信息增益

            bestInfoGain = infoGain                             #更新信息增益，找到最大的信息增益

            bestFeature = i                                     #记录信息增益最大的特征的索引值

    return bestFeature                                          #返回信息增益最大特征的索引值

# 统计出现次数最多的元素（类标签）

def majorityCnt(classList):

    classCount={}  #统计classList中每个类标签出现的次数

    for vote in classList:

        if vote not in classCount.keys():

            classCount[vote] = 0

        classCount[vote] += 1

    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)    #根据字典的值降序排列

    return sortedClassCount[0][0]  #返回出现次数最多的类标签

# 创建决策树

def createTree(dataSet,labels):

    classList = [example[-1] for example in dataSet]           #取分类标签

    if classList.count(classList[0]) == len(classList):        #如果类别完全相同，则停止继续划分

        return classList[0]

    if len(dataSet[0]) == 1:                                   #遍历完所有特征时返回出现次数最多的类标签

        return majorityCnt(classList)

    bestFeat = chooseBestFeatureToSplit(dataSet)               #选择最优特征

    bestFeatLabel = labels[bestFeat]                           #最优特征的标签

    myTree = {bestFeatLabel:{}}                                #根据最优特征的标签生成树

    del(labels[bestFeat])                                      #删除已经使用的特征标签

    featValues = [example[bestFeat] for example in dataSet]    #得到训练集中所有最优特征的属性值

    uniqueVals = set(featValues)                               #去掉重复的属性值

    for value in uniqueVals:                                   #遍历特征，创建决策树

        subLabels = labels[:]                                  #复制所有标签，这样树就不会弄乱现有标签

        myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value),subLabels)

    return myTree

测试集：

dataSet = [
    [1, 1, 'yes'],
    [1, 1, 'yes'],
    [1, 0, 'no'],
    [0, 1, 'no'],
    [0, 1, 'no']
]
labels = ['no surfacing', 'flippers']

myTree = createTree(dataSet, labels)
print(myTree)

测试结果：

第0个特征的信息增益为0.420
第1个特征的信息增益为0.171
第0个特征的信息增益为0.918
{'no surfacing': {0: 'no', 1: {'flippers': {0: 'no', 1: 'yes'}}}}

总结

决策树ID3是一种经典的机器学习算法，用于解决分类问题。它通过在特征空间中构建树形结构来进行决策，并以信息增益作为划分标准。ID3算法的关键在于选择最佳的属性进行划分，以最大化信息增益。通过Python实现ID3算法，我们可以构建出一棵高效而准确的决策树模型，用于分类预测和决策分析。