机器学习实战（二）决策树 python3

决策树是经常使用的数据挖掘算法之一，概念非常简单。
优点：计算复杂度不高，输出结果易于理解，对中间值缺失不敏感，可以处理不相关特征数据。
缺点：可能会产生过度匹配的问题
适用数据类型：数值型和标称型

3.1 决策树的构造

3.1.1 信息增益的计算

香农熵（熵）：集合信息的度量方式
计算公式：

p是选择该分类的概率，n是分类的数目。
信息增益：划分数据集前后信息发生的变化 E(信息增益) = S0(初始信息熵) - S1(当前信息熵)
举个栗子：

feature1：根据不浮出水面是否可以生存这一特征分类的信息增益
feature2：根据是否有脚蹼这一特征分类的信息增益
哪一个信息增益大就先依据该特征划分

代码实现：

from math import log
def calcShannonEnt(dataSet):
    # 返回数据集的行数
    numEntires = len(dataSet)
    # 保存每个标签（Label）出现次数的“字典”
    labelCounts = {
   }
    # 对每组特征向量进行统计
    for featVec in dataSet: #为所有可能的分类创造字典
        #print(featVec)
        # 提取标签（Label）信息
        currentLabel = featVec[-1]
        #print(currentLabel)
        # 如果标签（Label）没有放入统计次数的字典，添加进去
        if currentLabel not in labelCounts.keys():
            # 创建一个新的键值对，键为currentLabel值为0
            labelCounts[currentLabel] = 0
        # Label计数
        labelCounts[currentLabel] += 1
        #print(labelCounts)
    # 经验熵（香农熵）
    shannonEnt = 0.0
    # 计算香农熵
    for key in labelCounts:
        # 选择该标签（Label）的概率
        prob = float(labelCounts[key]) / numEntires
        # 利用公式计算
        shannonEnt -= prob*log(prob, 2)
        #print(shannonEnt)
    # 返回经验熵（香农熵）
    return shannonEnt

创建数据集,其中前四列是特征，最后一列是标签

def createDataSet():
    # 数据集
    dataSet = [[0, 0, 0, 0, 'no'],
               [0, 0, 0, 1, 'no'],
               [0, 1, 0, 1, 'yes'],
               [0, 1, 1, 0