决策树算法与代码

特征选择问题：特征选择在于选取对训练数据具有分类能力的特征。通常特征选择的准则是信息增益或信息增益比。
设有随机变量(X,Y)，其联合概率分布为：

条件熵H(Y|X)表示在已知随机变量X的条件下随机变量Y的不确定性。随机变量X给定的条件下随机变量Y的条件熵(conditional entropy) H(Y|X)，定义为X给定条件下Y的条件概率分布的熵对X的数学期望：

当熵和条件熵中的概率由数据估计(特别是极大似然估计)得到时，所对应的熵与条件熵分别称为经验熵( empirical entropy)和经验条件熵(empirical conditional entropy )。
信息增益(information gain)表示得知特征X的信息而使得类Y的信息的不确定性减少的程度.
定义5.2(信息增益)：特征A对训练数据集D的信息增益g(D,A)，定义为集合D的经验嫡H(D)与特征A给定条件下D的经验条件嫡H(D|A)之差，即

决策树学习中的信息增益等价于训练数据集中类与特征的互信息。
根据信息增益准则的特征选择方法是：对训练数据集(或子集)D，计算其每个特征的信息增益，并比较它们的大小，选择信息增益最大的特征。
|D|表示其样本容量，即样本个数。设有K个类Ck，k=1,2,…,K，|Ck|为属于类Ck的样本个数。根据特征A的取值将D划分为n个子集D1,D2,…,Dn,|Di|为Di的样本个数。记子集Di中属于类Ck的样本的集合为Dik。

其对应代码如下：

#计算给定数据集的熵
def calcShannonEnt(dataSet):
    numEntries = len(dataSet)  #计算数据集的大小
    labelCounts = {}
    for featVec in dataSet: #the the number of unique elements and their occurance
        currentLabel = featVec[-1]  #每次输出数据集的最后一列
        '''如果当前键值不存在，则扩张字典，并将当前键值加入字典.每个键值都记录了当前类别出现的次数'''
        if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0  
        labelCounts[currentLabel] += 1
    shannonEnt = 0.0
    #计算熵
    for key in labelCounts:
        prob = float(labelCounts[key])/numEntries
        shannonEnt -= prob * log(prob,2) #log base 2 
    return shannonEnt
#按照给定特征划分数据集
#dataSet：带划分的数据集
#axis：划分数据集的特征
#需要返回的特征的值
def splitDataSet(dataSet, axis, value):
    retDataSet = []
    for featVec in dataSet:
        if featVec[axis] == value:
            reducedFeatVec = featVec[:axis]     #chop out axis used for splitting
            reducedFeatVec.extend(featVec[axis+1:])
            retDataSet.append(reducedFeatVec)
    return retDataSet




#选择最好的数据集划分方式

def chooseBestFeatureToSplit(dataSet):
    numFeatures = len(dataSet[0]) - 1      #计算数据含有多少个特征
    baseEntropy = calcShannonEnt(dataSet)  #计算整个数据的原始熵
    bestInfoGain = 0.0; bestFeature = -1
    for i in range(numFeatures):        #迭代所有的特征
        featList = [example[i] for example in dataSet]# 创建一个list 存储数据的某一个特征值的所有值
        uniqueVals = set(featList)       #例：featList=[1, 1, 1, 0, 0]，则uniqueVals={0, 1}
        newEntropy = 0.0
        for value in uniqueVals:
            subDataSet = splitDataSet(dataSet, i, value)  #对每一个唯一属性值划分一次数据集
            prob = len(subDataSet)/float(len(dataSet))
            newEntropy += prob * calcShannonEnt(subDataSet)  #对所有唯一特征值得到的熵求和   
        infoGain = baseEntropy - newEntropy     #计算信息增益; ie reduction in entropy
        if (infoGain > bestInfoGain):       #compare this to the best gain so far
            bestInfoGain = infoGain         #if better than current best, set to best
            bestFeature = i
    return bestFeature                      #returns an integer