机器学习实战3：决策树学习笔记（python）

决策树就是在已知各种情况发生概率的情况下，通过构造决策树，评价项目风险，判断其可行性的决策分析方法，它是运用概率分析的一种图解法。

优缺点分析：

优点：计算复杂度不高，输出结果较直观，易于理解，对中间值的缺失不敏感，可以处理不相关特征数据

缺点：可能产生过度匹配

创建数据集并计算其熵值：

from math import log

import operator

def createDataSet():

    dataSet = [[1, 1, 'yes'],

               [1, 1, 'yes'],

               [1, 0, 'no'],

               [0, 1, 'no'],

               [0, 1, 'no']]

    labels = ['no surfacing','flippers']

    #change to discrete values

    return dataSet, labels

myDat,labels=createDataSet()