简单易懂！决策树及其构造

什么是决策树

你是否玩过二十个问题的游戏，游戏的规则很简单：参与游戏的一方在脑海里想某个事物，
其他参与者向他提问题，只允许提20个问题，问题的答案也只能用对或错回答。问问题的人通过
推断分解，逐步缩小待猜测事物的范围。决策树的工作原理与20个问题类似，用户输入一系列数
据，然后给出游戏的答案。

信息熵

接下来介绍信息熵的概念，决策树的构造很大程度上需要信息熵这个工具


在上表中可以看到，有“不浮出水面”，“是否有脚蹼”两个特征，在构造决策树时，我们按照不同的特征进行划分，从而产生树的分支。而在每次划分之后，都有其对应的信息熵，而如果将分支后的信息熵与之前的信息熵进行对比，我们就得出了信息增益的概念。

按照“不浮出水面是否可以生存”这个特征进行划分，利用上面介绍的计算信息熵的公式进行计算，最后再分别乘以划分后各个标签占总标签数量的一个占比（这里的标签就是指“属于鱼类”中的“是”或“否”）。这里读者可以认为是一个全概率公式。这样就得出了一个新的信息熵，与之前的信息熵做差，就得出了信息增益，显然信息增益越大越好。

当然，，这样就会使得树的分支变得非常非常多，这是我们不希望看到的，于是我们就引进了信息增益率和基尼指数的概念。将他们与信息增益结合起来，可以更合理地构造决策树。

决策树的构造

在知道了决策树的原理之后，我们就通过代码来实现决策树的构造，下面有详细代码的讲解。并且使用文章前面提供一个简单的示例（是否属于鱼类的这个例子，读者可以往前翻看）来带入计算，以更好地理解决策树算法。

决策树的一般流程
(1) 收集数据：可以使用任何方法。
(2) 准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化。
(3) 分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预期。
(4) 训练算法：构造树的数据结构。
(5) 测试算法：使用经验树计算错误率。
(6) 使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据
的内在含义。

def createDataSet():
    dataSet = [[1, 1, 'yes'],
               [1, 1, 'yes'],