决策树

决策树是一种逼近离散值函数的方法，对噪声数据有很好的健壮性而且能够学习析取表达式。决策树学习的归纳偏置是有限选择较小的树。

决策树通过把实例从根节点排列到某个叶子节点来分类实例，叶子节点即为实例所属的分类。书上的每一个节点说明了对实例的某个属性的测试，并且该节点的每一个后继分支对应于该属性的一个可能值。分类实例的方法是从这棵树的根节点开始，测试这个节点指定的属性，然后按照给定实例的该属性值对应的数值向下移动。然后这个过程在以新节点为跟的子树上重复。

基于决策树的学习算法：基于ID3算法通过自顶向下构造决策树在进行学习。构造过程是从“哪一个属性将在树的根节点被测试？”这个问题开始的。为了回答这个问题，使用统计测试来确定每一个实例属性单独分类测试样例的能力。分类能力最好的属性被选作数的根节点进行测试。然后为根节点属性的每个可能值产生一个分支，并把训练样例排到适当的分支之下。然后重复整个过程，用每个分支节点关联的训练样例来选取在该点被测试的最佳属性。这形成了对合格决策树的贪婪搜索，这也就是算法从不回溯重新考虑以前的选择。

选择最佳分类属性

信息增益：用于衡量给定的属性区分训练样例的能力