python基础教程：决策树剪枝算法的python实现方法详解本文实例讲述了决策树剪枝算法的python实现方法。分享给大家供大家参考，具体如下： 决策树是一种依托决策而建立起来的一种树。在机器学习中

本文实例讲述了决策树剪枝算法的python实现方法。分享给大家供大家参考，具体如下：
决策树是一种依托决策而建立起来的一种树。在机器学习中，决策树是一种预测模型，代表的是一种对象属性与对象值之间的一种映射关系，每一个节点代表某个对象，树中的每一个分叉路径代表某个可能的属性值，而每一个叶子节点则对应从根节点到该叶子节点所经历的路径所表示的对象的值。决策树仅有单一输出，如果有多个输出，可以分别建立独立的决策树以处理不同的输出。

ID3算法:ID3算法是决策树的一种，是基于奥卡姆剃刀原理的，即用尽量用较少的东西做更多的事。ID3算法，即Iterative Dichotomiser 3，迭代二叉树3代，是Ross Quinlan发明的一种决策树算法，这个算法的基础就是上面提到的奥卡姆剃刀原理，越是小型的决策树越优于大的决策树，尽管如此，也不总是生成最小的树型结构，而是一个启发式算法。在信息论中，期望信息越小，那么信息增益就越大，从而纯度就越高。ID3算法的核心思想就是以信息增益来度量属性的选择，选择分裂后信息增益最大的属性进行分裂。该算法采用自顶向下的贪婪搜索遍历可能的决策空间。
信息熵，将其定义为离散随机事件出现的概率，一个系统越是有序，信息熵就越低，反之一个系统越是混乱，它的信息熵就越高。所以信息熵可以被认为是系统有序化程度的一个度量。

基尼指数：在CART里面划分决策树的条件是采用Gini Index，定义如下：gini(T)=1−sumnj=1p2j。其中，( p_j )是类j在T中的相对频率，当类在T中是倾斜的时，gini(T)会最小。将T划分为T1（实例数为N1）和T2（实例数为N2）两个子集后，划分数据的Gini定义如下：ginisplit(T)=fracN1Ngini(T1)+fracN2Ngini(T2)，然后选择其中最小的(gini_{split}(T) )作为结点划分决策树
具体实现
首先用函数calcShanno计算数据集的香农熵，给所有可能的分类创建字典

def calcShannonEnt(dataSet): 
  numEntries = len(dataSet) 
  labelCounts = {
   } 
  # 给所有可能分类创建字典 
  for featVec in dataSet: 
    currentLabel = featVec[-1] 
    if currentLabel not in labelCounts.keys(): 
      labelCounts[currentLabel] = 0
    labelCounts[currentLabel] += 1
  shannonEnt = 0.0
  # 以2为底数计算香农熵
  for key in labelCounts:
    prob = float(labelCounts[key]) / numEntries
    shannonEnt -= prob * log(prob, 2)
  return shannonEnt

# 对离散变量划分数据集，取出该特征取值为value的所有样本
def splitDataSet(dataSet, axis, value):
  retDataSet = []
  for featVec in dataSet:
    if featVec[axis] == value:
      reducedFeatVec = featVec[:axis]
      reducedFeatVec.extend(featVec[axis + 1:])
      retDataSet.append(reducedFeatVec)
  return retDataSet

对连续变量划分数据集，direction规定划分的方向， 决定是划分出小于value的数据样本还是大于value的数据样本集

numFeatures = len(dataSet[0]) - 1
baseEntropy = calcShannonEnt(dataSet)
bestInfoGain = 0.0
bestFeature = -1
bestSplitDict = {
   }
for i in range(numFeatures):
  featList = [example[i] for example in dataSet]
  # 对连续型特征进行处理
  if type(featList[0]).__name__ == 'float' or type(featList[0]).__name__ == 'int':
    # 产生n-1个候选划分点
    sortfeatList = sorted(featList)
    splitList = []
    for j in range(len(sortfeatList) - 1):
      splitList.append((sortfeatList[j] + sortfeatList[j + 1]) / 2.0)
 
    bestSplitEntropy = 10000
    slen = len(splitList)
    # 求用第j个候选划分点划分时，得到的信息熵，并记录最佳划分点
    for j in range(slen):
      value = splitList[j]
      newEntropy = 0.0
      subDataSet0 = splitContinuousDataSet(dataSet, i, value, 0)
      subDataSet1 = splitContinuousDataSet(dataSet, i, value, 1)
      prob0 = len(subDataSet0) / float(len(dataSet))
      newEntropy += prob0 * calcShannonEnt(subDataSet0)
      prob1 = len(subDataSet1) / float(len(dataSet))
      newEntropy += prob1 * calcShannonEnt(subDataSet1)
      if newEntropy < bestSplitEntropy:
        bestSplitEntropy = newEntropy
        bestSplit = j
    # 用字典记录当前特征的最佳划分点
    bestSplitDict[labels[i]] = splitList[bestSplit]
    infoGain = baseEntropy - bestSplitEntropy
  # 对离散型特征进行处理
  else:
    uniqueVals = set(featList)
    newEntropy = 0.0
    # 计算该特征下每种划分的信息熵
    for value in uniqueVals:
      subDataSet = splitDataSet(dataSet, i, value)
      prob = len(subDataSet) / float(len(dataSet))
      newEntropy += prob * calcShannonEnt(subDataSet)
    infoGain = baseEntropy - newEntropy
  if infoGain > bestInfoGain:
    bestInfoGain = infoGain
    bestFeature = i
# 若当前节点的最佳划分特征为连续特征，则将其以之前记录的划分点为界进行二值化处理
# 即是否小于等于bestSplitValue
if type(dataSet[0][bestFeature]).__name__ == 'float' or type(dataSet[