决策树--熵计算--特征分类

决策树--熵计算--特征分类

# 引入log计算熵
from math import log


# 熵越高，则混合的数据也越多

def createDataSet():
    dataSet = [[1, 1, 'yes'],
               [1, 1, 'yes'],
               [1, 0, 'no'],
               [0, 1, 'no'],
               [0, 1, 'no']]

    labels = ['no surfacing', 'flippers']

    return dataSet, labels


# 1.计算数据集中实例的总是，也就是样本的总数。我们把这个值保存成一格单独的变量以便之后方便使用，提高代码的效率
# 2.创建字典，用于保存类别信息。在整个数据集当中有多少个类别，每个类别的个数是多少
# 3. 在我们创建的数据字典中，它的键是我们数据集中最后一列的值。如果当前键不存在则把这个键加入到字典当中，依次统计出现类别的次数
# 4. 最后使用所有类标签对应的次数来计算它们的概论
# 5.计算香农熵

def calcShannonEnt(dataSet):
    # 获取数据长度
    countDataSet = len(dataSet)
    # 定义集合，用来存放label
    labelCounts = {}
    for featVec in dataSet:
        # label为最后一列
        currentLabel = featVec[-1]
        if currentLabel not in labelCounts.keys():
            # 注意，集合value增加方式
            labelCounts[currentLabel] = 0
        labelCounts[currentLabel] += 1
    shannonEnt = 0.0
    for key in labelCounts:
        # 每个label出现的概率
        prob = float(labelCounts[key]) / countDataSet

        # shannonEnt -= prob * log(prob, 2)这个同下
        shannonEnt = shannonEnt - prob * log(prob, 2)
    return shannonEnt


# 划分数据集
def splitDataSet(dataSet, axis, value):
    # dataset是链表，为了不改变外部数据，重新新建链表
    retDataSet = []
    for featVec in dataSet:
        # axis特征，value特征值
        if featVec[axis] == value:
            # 除去特征然后创建一个子特征
            reducedFeatVec = featVec[:axis]
            reducedFeatVec.extend(featVec[axis + 1:])
            # 将满足条件的样本放入新建的样本中
            retDataSet.append(reducedFeatVec)
    return retDataSet


if __name__ == '__main__':
    dataSet, labels = createDataSet()
    print(dataSet)
    print(calcShannonEnt(dataSet))
    retDataSet = splitDataSet(dataSet, 0, 1)
    print(retDataSet)
    retDataSet = splitDataSet(dataSet, 0, 0)
    print(retDataSet)

计算结果如下：