决策树基本流程及其实现

决策树也称作判定树，是一类常见的的机器学习方法。周志华老师在其书《机器学习》中，以二分类任务为例给我们讲解了决策树的基本流程。
我们希望从给定的训练集学的一个模型，此模型可以对新的示例进行分类，这个把样本分类的任务，可看作对“当前样本属于正常吗”这个问题的“决策”或“判定”过程。
决策树是基于树结构来进行决策的，这也是人类在面临决策问题时一种很自然的处理机制。
举一个例子，如果我们要对“这是好瓜吗？”这样的问题进行决策时，我们通常会进行一系列的判断或“子决策”：先要看看“它是什么颜色？”，如果是：”青绿色”，再看“他的根蒂是什么形态？”如果是“蜷缩”在判断“它敲起来是什么的声音？”最后，我们得出最终的决策：这是个好瓜
决策过程如下图

决策过程的最终结论对应了我们所希望的判定结果，例如是不是好瓜。在决策过程中提出的每个判定问题都是对某个属性的“测试”，例如“色泽=？”“根蒂=？”；每个测试的结果或者是导出最终结论，或是导出进一步的判定问题，其考虑范围是在上次决策结果的限定范围之内，例如若是在“色泽=青绿”之后再判断“根蒂=？”，则仅在考虑青绿色瓜的根蒂。

一棵决策树包含一个根节点、若干个内部结点和若干个叶结点，根节点包含了样本全集，其中叶节点对应于决策结果（根蒂蜷缩，敲声浊响），其他每个结点对应于一个属