决策树(一)--特征值选择

决策树是一种基本的分类和回归方法。用决策树分类，从根节点开始，对实例的某一特征进行测试，根据测试的结果，将实例分配到其子结点；这时，每一个子结点对应着该特征的一个取值，递归地对实例进行测试和分配，直至达到叶节点，最后将实例分到叶节点的类中。

决策树学习通常包括3个步骤：特征选择，决策树的生成和决策树的剪枝。

特征值选择

 当训练元组纬度比较大时，我们在对其进行分类的时候，要考虑选择哪一个特征值进行分裂得到的分类结果才是最好的。

属性选择度量是一种选择分裂准则，把给定类标记的训练元组的数据区D“最好地”划分为单独类的启发方式。这里介绍三种常用的属性选择度量-信息增益，增益率，基尼指数

1：信息增益（ID3）

为了便于说明，先给出熵和条件熵的定义

          在信息论与概率统计中，熵是表示随机变量不确定性的度量，X是一个取有限个值的离散随机变量，其概率分布为，则随机变量X的熵为

由公式可以得知，熵只依赖于X的分布，而与X的取值无关，并且熵越大，随机变量的不确定性就越大！！！

          假设有随机变量（X,Y），其联合概率分布为： ，条件熵表示在已知随机变量X的条件下，Y的不确定性。随机变量X给定条件下随机变量Y的条件熵定义为X给定条件下Y的条件概率分布的熵对X的数学期望