决策树--ID3算法

一、决策树基本概念

      在机器学习中，决策树是一个预测模型，它代表的是对象属性与对象值之间的一种映射关系。本质上决策树是通

过一系列规则对数据进行分类的过程。下图为经典决策树实例。

                                         

                                                                           图1

        如图所示，实例是由“属性-值”对表示的：实例是用一系列固定的属性和他们的值构成。   

    
        目标函数具有离散的输出值：上图给每个实例赋予一个布尔型分类(Yes和No)。在实际的应用中，最后存储在分

类中的其实是一堆一堆的样本。

决策树的优点：

1、推理过程容易理解，决策推理过程可以表示成If Then形式；

2、可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量的数目提供参考。

二、决策树的