【机器学习算法-python实现】决策树-Decision tree(1) 信息熵划分数据集

17492人阅读 评论(5) 收藏 举报
分类:

(转载请注明出处:http://blog.csdn.net/buptgshengod)

1.背景

          决策书算法是一种逼近离散数值的分类算法,思路比较简单,而且准确率较高。国际权威的学术组织,数据挖掘国际会议ICDM (the IEEE International Conference on Data Mining)在2006年12月评选出了数据挖掘领域的十大经典算法中,C4.5算法排名第一。C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法。

          算法的主要思想就是将数据集按照特征对目标指数的影响由高到低排列。行成一个二叉树序列,进行分类,如下图所示。

                                              

         现在的问题关键就是,当我们有很多特征值时,哪些特征值作为父类写在二叉树的上面的节点,哪下写在下面。我们可以直观的看出上面的特征值节点应该是对目标指数影响较大的一些特征值。那么如何来比较哪些特征值对目标指数影响较大呢。这里引出一个概念,就是信息熵。

        信息理论的鼻祖之一Claude E. Shannon把信息(熵)定义为离散随机事件的出现概率。说白了就是信息熵的值越大就表明这个信息集越混乱。

        信息熵的计算公式,H(X) = \sum_{i=1}^n {p(x_i)\,I(x_i)} = -\sum_{i=1}^n {p(x_i) \log_b p(x_i)}(建议去wiki学习一下)

        这里我们通过计算目标指数的熵和特征值得熵的差,也就是熵的增益来确定哪些特征值对于目标指数的影响最大。


2.数据集


                    

3.代码

 

     (1)第一部分-计算熵

                       函数主要是找出有几种目标指数,根据他们出现的频率计算其信息熵。  
def calcShannonEnt(dataSet):
    numEntries=len(dataSet)
    
    labelCounts={}

    for featVec in dataSet:
        currentLabel=featVec[-1]
       
        if currentLabel not in labelCounts.keys():
            labelCounts[currentLabel]=0        
        labelCounts[currentLabel]+=1
    shannonEnt=0.0
    
    for key in labelCounts:
         
         prob =float(labelCounts[key])/numEntries        
         shannonEnt-=prob*math.log(prob,2)

    return shannonEnt      
   

     (2)第二部分-分割数据

            因为要每个特征值都计算相应的信息熵,所以要对数据集分割,将所计算的特征值单独拿出来。
def splitDataSet(dataSet, axis, value):
    retDataSet = []
    for featVec in dataSet:
        if featVec[axis] == value:
            reducedFeatVec = featVec[:axis]     #chop out axis used for splitting            
            reducedFeatVec.extend(featVec[axis+1:])      
            retDataSet.append(reducedFeatVec)          
    return retDataSet

   (3)第三部分-找出信息熵增益最大的特征值

def chooseBestFeatureToSplit(dataSet):
    numFeatures = len(dataSet[0]) - 1      #the last column is used for the labels
    baseEntropy = calcShannonEnt(dataSet)
    bestInfoGain = 0.0; bestFeature = -1
    for i in range(numFeatures):        #iterate over all the features
        featList = [example[i] for example in dataSet]#create a list of all the examples of this feature
       
        uniqueVals = set(featList)       #get a set of unique values
        
        newEntropy = 0.0
        for value in uniqueVals:
            subDataSet = splitDataSet(dataSet, i, value)
            prob = len(subDataSet)/float(len(dataSet))
            newEntropy += prob * calcShannonEnt(subDataSet)     
        infoGain = baseEntropy - newEntropy     #calculate the info gain; ie reduction in entropy
        
        if (infoGain > bestInfoGain):       #compare this to the best gain so far
            bestInfoGain = infoGain         #if better than current best, set to best
            bestFeature = i
    return bestFeature                      #returns an integer


4.代码下载

      
    结果是输出0,也就是是否有喉结对性别影响最大。
查看评论

python 计算信息熵和信息增益

1. 计算信息熵def calc_ent(x): """ calculate shanno ent of x """x_value_list = set([x[i] for i in rang...
  • autoliuweijie
  • autoliuweijie
  • 2016-08-18 19:43:58
  • 9344

<PY>计算信息熵

#python3 calculate Shannon Entropy from math import log2 def calcShannonEnt(dataSet): length,da...
  • awsxsa
  • awsxsa
  • 2015-08-29 18:35:43
  • 2254

信息熵、条件熵、信息增益

信息增益描述了一个特征带来的信息量的多少,往往用于特征选择信息增益 = 信息熵 - 条件熵一个特征往往会使一个随机变量Y的信息量减少,减少的部分就是信息增益一个例子如图所示,目标值是:playtenn...
  • xtingjie
  • xtingjie
  • 2017-05-07 12:32:30
  • 1730

数据分类:决策树Decision Tree

背景 决策树(decision tree)是一种基本的分类和回归(后面补充一个回归的例子?)方法,它呈现的是一种树形结构,可以认为是if-then规则的集合。其其主要优点是模型具有很好的可读性,...
  • GarfieldEr007
  • GarfieldEr007
  • 2016-04-19 11:13:40
  • 2959

机器学习实战之决策树(2)---选择最好的特征来划分数据集

from math import log #计算给定数据集的香农熵 def calcShannonEnt(dataSet): numEntries = len(dataSet) lab...
  • chchlh
  • chchlh
  • 2014-12-02 14:41:34
  • 2046

<em>计算</em>灰度图像<em>信息熵</em>的方法

<em>计算</em>灰度图像<em>信息熵</em>的方法,输入图像可以使灰度图或RGB图像。<em>计算</em>出来的<em>信息熵</em>,可以用来作为图像质量的判断依据之一。
  • 2018年04月13日 00:00

决策树算法(三)——计算香农熵

写在前面的话如果您有任何地方看不懂的,那一定是我写的不好,请您告诉我,我会争取写的更加简单易懂!如果您有任何地方看着不爽,请您尽情的喷,使劲的喷,不要命的喷,您的槽点就是帮助我要进步的地方!计算给定数...
  • Grace_0642
  • Grace_0642
  • 2016-07-15 18:20:14
  • 3592

《机器学习实战》笔记之三——决策树的构造

第三章 决策树的构造 决策树简介在数据集中度量一致性使用递归构造决策树使用Matplotlib绘制树形图 决策树主要优势:数据形式非常容易理解。 优点: 计算复杂度不高,输出结果易于理解,对...
  • u010454729
  • u010454729
  • 2015-09-03 23:27:03
  • 2923

用Python开始机器学习(2:决策树分类算法)

从这一章开始进入正式的算法学习。首先我们学习
  • lsldd
  • lsldd
  • 2014-11-18 01:05:07
  • 62981

用python实现c4.5算法,并进行悲观剪枝

#coding=utf-8 import xlrd import xlwt import math import operator from datetime import date,datetime...
  • o1101574955
  • o1101574955
  • 2015-12-21 13:43:57
  • 3488
    统计

    主要讲述算法和业务的结合,适合初学者

    机器学习实践应用

    京东地址

    作者公众号:凡人机器学习

    凡人机器学习

    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 89万+
    积分: 1万+
    排名: 1618
    博客专栏