特征选择---编写代码计算信息增益splitDataSet函数是用来选择各个特征的子集的，比如选择年龄(第0个特征)的青年(用0代表)的自己

特征选择---编写代码计算信息增益

splitDataSet函数是用来选择各个特征的子集的，比如选择年龄(第0个特征)的青年(用0代表)的自己，我们可以调用splitDataSet(dataSet,0,0)这样返回的子集就是年龄为青年的5个数据集。chooseBestFeatureToSplit是选择选择最优特征的函数。

代码如下：

# -*- coding: UTF-8 -*- """ 函数说明:按照给定特征划分数据集 Parameters:     dataSet - 待划分的数据集     axis - 划分数据集的特征     value - 需要返回的特征的值 Returns:     无 """ def splitDataSet(dataSet, axis, value):           retDataSet = [] #创建返回的数据集列表     for featVec in dataSet: #遍历数据集         if featVec[axis] == value:             reducedFeatVec = featVec[:axis] #去掉axis特征             reducedFeatVec.extend(featVec[axis+1:]) #将符合条件的添加到返回的数据集             retDataSet.append(reducedFeatVec)     return retDataSet #返回划分后的数据集     """ 函数说明:选择最优特征 Parameters:     dataSet - 数据集 Returns:     bestFeature - 信息增益最大的(最优)特征的索引值 """ def chooseBestFeatureToSplit(dataSet):     numFeatures = len(dataSet[0]) - 1                    #特征数量     baseEntropy = calcShannonEnt(dataSet)                 #计算数据集的香农熵     bestInfoGain = 0.0                                  #信息增益     bestFeature = -1                                    #最优特征的索引值     for i in range(numFeatures):                         #遍历所有特征         #获取dataSet的第i个所有特征         featList = [example[i] for example in dataSet]         uniqueVals = set(featList)                         #创建set集合{},元素不可重复         newEntropy = 0.0                                  #经验条件熵         for value in uniqueVals:                         #计算信息增益             subDataSet = splitDataSet(dataSet, i, value)         #subDataSet划分后的子集             prob = len(subDataSet) / float(len(dataSet))           #计算子集的概率             newEntropy += prob * calcShannonEnt(subDataSet)     #根据公式计算经验条件熵         infoGain = baseEntropy - newEntropy                     #信息增益         print("第%d个特征的增益为%.3f" % (i, infoGain))            #打印每个特征的信息增益         if (infoGain > bestInfoGain):                             #计算信息增益             bestInfoGain = infoGain                             #更新信息增益，找到最大的信息增益             bestFeature = i                                     #记录信息增益最大的特征的索引值     return bestFeature                                             #返回信息增益最大的特征的索引值 dataSet, features = createDataSet() print("最优特征索引值:" + str(chooseBestFeatureToSplit(dataSet)))