决策树（ID3)

简介

决策树（Decision Tree）是一种逼近离散值目标函数的方法，在这个方法中学习到的函数表示为一颗决策树。学习到的决策树也能再表示为多个if-then的规则，提高可读性。决策树算法是最流行的归纳推理算法之一。
决策树的核心思想是对于给定的训练样本集，每次选取一个特征将样本集切分为若干个子集，递归地对每一个子集进行特征选取和样本切分，直到样本子集中的元素分类都相同或者没有剩余特征可以选取。如果出现没有候选特征继续切分的情况，将投票采取“主分类”作为改决策路径下的数据分类。每一次特征选取的过程就是决策的过程，所有的决策路径便构成了一棵决策树。
以海洋生物样本集为例，我们将通过不浮出水面是否可以生存以及是否有脚蹼两个特征来判断一个海洋生物是否属于鱼类。

首先，根据第一个特征（不浮出水面是否可以生存）将样本集切分成两个子集s1=(1,2,3), s2=(4,5)，s1元素分类不一致，继续切分；s2分类一致，终止；
最后，根据第二个特征（是否有脚蹼）将s1切分成两个子集s3=(1,2), s4=(3)，此时s3和s4分类都一致，终止。
整个决策过程就构成了一棵决策树，如下图所示：

ID3算法

决策树构造的整个过程中，关键点在于对于不同的样本集如何决策，即选取哪个特征来实现对数据集的切分。直观地讲，划分数据集的最大原则是：将分类混乱的数据分类更加一致。组织杂乱无章数据的一种方法就是使用信息论度量信息。
下面先引入一些必要的信息论的定义。
信息(information)：如果待分类的事物可能划分在多个分类之中，则符号xi的信息定义为：l(xi) = -log(p(xi), 2)
方便起见，这里利用了python math库中的log函数的写法，其中p(xi)是该分类在集合中出现的后验概率。
熵(entropy)：熵定义为信息的期望，H = sigma(-p(xi)*log(p(xi),2)).
信息论中熵的一种解释是，熵确定了要编码集合S中任意成员（即以均匀的概率随机抽样出一个成员）的分类需要的最好的二进制位数。
通俗一点理解，熵反应了一个样本集分类的混杂程度，熵越大越混杂；熵越小，分类越单一；特殊地，样本集分类一致的时候，熵等于0。
信息增益(information gain)：在划分数据集前后熵发生的变化成为信息增益
也可以通俗地理解为，信息增益反应了切分数据集前后样本集分类趋于分类一致性的程度
ID3算法的核心思想：按照获取最大信息增益的方法选取特征划分数据集。

Python实现ID3算法

#coding=utf-8
'''
@author: slowalker
@date:2015-05-10
'''

from math import log
import operator