pyhon实现决策树（ID3）算法进行数据的分类预测

本文参考了这篇博客和这篇博客  还有这篇 十分感谢

说明： 由于平时接触到的数据既有离散值也有连续值 所以该算法直接针对两种类型的数据都做了处理，另外划分属性采用的是熵最大原则，决策树实现时很容易过拟合 所以需要进行剪枝处理（此处未进行剪枝）

关于ID3算法进行分类预测的原理可以参考 这篇博客，不再赘述

主要写一下具体实现

我用的是老师给的数据全都是连续型数据，.xlsx文件直接改成扩展名.csv貌似程序会运行出错，具体可以参考 这篇，也就是另存为就可以

数据集    https://pan.baidu.com/s/1slul1Bv 密码: n8vf

以下由python实现 环境python3.0 (假装你已经安装了必要的包) 建议使用Anaconda安装，比较简单 代码是在上面几篇博客的基础上做了一点修改（主要是出错啊要不然谁改啊）

# -*- coding: utf-8 -* ''''' create on 2017/3/24, the day after our national football team beat south korea @author: PY131 ''''' #http://blog.csdn.net/snoopy_yuan/article/details/68959025 ''' definition of decision node class attr: attribution as parent for a new branching attr_down: dict: {key, value} key: categoric: categoric attr_value continuous: '<= div_value' for small part '> div_value' for big part value: children (Node class) label： class label (the majority of current sample labels) ''' class Node(object): def __init__(self, attr_init=None, label_init=None, attr_down_init={} ): self.attr = attr_init self.label = label_init self.attr_down = attr_down_init ''' Branching for decision tree using recursion @param df: the pandas dataframe of the data_set @return root: Node, the root node of decision tree ''' def TreeGenerate(df): # generating a new root node new_node = Node(None, None, {}) label_arr = df[df.columns[-1]] label_count = NodeLabel(label_arr) if label_count: # assert the label_count isn's empty new_node.label= max(label_count, key=label_count.get) # end if there is only 1 class in current node data # end if attribution array is empty if len(label_count) == 1 or len(label_arr) == 0: return new_node # get the optimal attribution for a new branching new_node.attr, div_value = OptAttr(df) # recursion if div_value == 0: # categoric variable value_count = ValueCount(df[new_node.attr]) for value in value_count: df_v = df[ df[ne