决策树之ID3

在机器学习中经常使用决策树，决策树的一个重要任务时理解数据中所蕴含的知识信息，因此决策树可以使用不熟悉的数据集合，并从中提取出一系列的规则，这些机器根据数据集创建规则的过程，就是机器学习的过程。

决策树的特点：
优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据（有特征筛选功能）
缺点：可能会产生过度匹配的问题。可以通过剪枝的方式解决这个问题。
适用数据类型：数值型和标称型。

构建决策树的关键在于寻找划分数据集的最好特征。寻找划分数据集的方法就涉及到树构建的算法，如ID3，C4.5，CART。这里我们先介绍ID3算法。

---

信息增益的问题
划分数据集的大原则是：将无序的数据变得更加有序。我们可以使用很多种方法划分数据集，但是每种方法都有各自的优缺点。在划分数据集之前之后信息发生的变化称为信息增益。我们通过计算每个特征值划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。
符号$x_i$的信息定义： l ( x i ) = l o g i p ( x i ) l(x_i)=log_ip(x_i)