决策树之ID3算法实现 python

               

 

决策树之ID3算法实现(python)

分类： python 算法 2013-09-27 11:40  107人阅读  评论(0)  收藏  举报

算法 decision tree machine learning

决策树的概念其实不难理解，下面一张图是某女生相亲时用到的决策树：

基本上可以理解为：一堆数据，附带若干属性，每一条记录最后都有一个分类（见或者不见），然后根据每种属性可以进行划分（比如年龄是>30还是<=30）,这样构造出来的一棵树就是我们所谓的决策树了，决策的规则都在节点上，通俗易懂，分类效果好。

那为什么跟节点要用年龄，而不是长相？这里我们在实现决策树的时候采用的是ID3算法，在选择哪个属性作为节点的时候采用信息论原理，所谓的信息增益。信息增益指原有数据集的熵-按某个属性分类后数据集的熵。信息增益越大越好（说明按某个属性分类后比较纯），我们会选择使得信息增益最大的那个属性作为当层节点的标记，再进行递归构造决策树。

首先我们构造数据集：

[python]  view plain copy

1. def createDataSet():  
2.     dataSet = [[1,1,'yes'],[1,1,'yes'],[1,0,'no'],[0,1,'no'],[0,1,'no']]  
3.     features = ['no surfacing','flippers']  
4.     return dataSet,features  

构造决策树：（采用python字典来递归构造，一些代码看看就能看懂）

[python]