3_1决策树(Decision_Tree_ID3)——calcShannonEnt_3_1

声明：《机器学习实战》代码详细注释和重构，以及相关的函数、模块和算法的解释；本文为博主原创文章，未经博主允许不得转载。

1. 计算给定数据集的香农熵（程序清单3-1）
   *#代码：Peter Gong_shuai
   *#中文注释：Gong_shuai
   *#代码重构：Gong_shuai
   *#函数注解：Gong_shuai
   *#相关的函数、模块和算法的解释：Gong_shuai
   *#环境：Python2.7、Sublime Text3、mac

2. 代码

#coding=utf-8
#计算给定数据集的香农熵（程序清单3-1）

#源代码：Peter  Gong_shuai
#中文注释：Gong_shuai
#代码重构：Gong_shuai
#函数注解：Gong_shuai
#环境：python2.7



from numpy import *
import operator
from os import listdir

from math import log

def createDataSet():    #简单鉴定数据集
    dataSet = [[1, 1, 'yes'],
               [1, 1, 'yes'],
               [1, 0, 'no'],
               [0, 1, 'no'],
               [0, 1, 'no']]
    labels = ['no surfacing','flippers']
    #change to discrete values
    return dataSet, labels

def calcShannonEnt(dataSet):    #计算给定数据集的香农熵
    numEntries = len(dataSet)    #计算数据集中的实例总数
    labelCounts = {}  #创建数据字典，其键值是最后一列的数值
    for featVec in dataSet: #the the number of unique elements and their occurance。  
        currentLabel = featVec[-1]
        if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0    #如果当前键值不存在，则扩展字典并将当前键值加入字典，
        labelCounts[currentLabel] += 1                                              #每一个键值都记录了当前类别的次数
    #使用所有类标签发生的频率计算类别出现的概率，计算香农熵
    shannonEnt = 0.0
    for key in labelCounts:
        prob = float(labelCounts[key])/numEntries
        shannonEnt -= prob * log(prob,2) #log base 2
    return shannonEnt

# reload(trees)
myDat,labels = createDataSet()
print(myDat)

print(calcShannonEnt(myDat))

1. 运行结果

[[1, 1, 'yes'], [1, 1, 'yes'], [1, 0, 'no'], [0, 1, 'no'], [0, 1, 'no']]
0.970950594455
[Finished in 0.3s]