决策树是一种逼近离散值函数的方法,对噪声数据有很好的健壮性而且能够学习析取表达式。决策树学习的归纳偏置是有限选择较小的树。
决策树通过把实例从根节点排列到某个叶子节点来分类实例,叶子节点即为实例所属的分类。书上的每一个节点说明了对实例的某个属性的测试,并且该节点的每一个后继分支对应于该属性的一个可能值。分类实例的方法是从这棵树的根节点开始,测试这个节点指定的属性,然后按照给定实例的该属性值对应的数值向下移动。然后这个过程在以新节点为跟的子树上重复。
基于决策树的学习算法:基于ID3算法通过自顶向下构造决策树在进行学习。构造过程是从“哪一个属性将在树的根节点被测试?”这个问题开始的。为了回答这个问题,使用统计测试来确定每一个实例属性单独分类测试样例的能力。分类能力最好的属性被选作数的根节点进行测试。然后为根节点属性的每个可能值产生一个分支,并把训练样例排到适当的分支之下。然后重复整个过程,用每个分支节点关联的训练样例来选取在该点被测试的最佳属性。这形成了对合格决策树的贪婪搜索,这也就是算法从不回溯重新考虑以前的选择。
选择最佳分类属性
信息增益:用于衡量给定的属性区分训练样例的能力