决策树的理解

概要

分类决策树模型是表示基于特征对实例进行分类的树形结构。决策树可以转换成一个if-then规则的集合，也可以看作是定义在特征空间划分上的类的条件概率分布。

决策树旨在构建一个与训练数据拟合很好，并且复杂度小的决策树。因为从可能的决策树中直接选取最优决策树是NP完全问题。实际应用中采用启发式的方法学习次优的决策树。

决策树学习算法包括三部分：特征选择、树的生成和树的剪枝。常用的算法有ID3、C4.5和CART。

模型介绍

特征选择的目的在于选取对训练数据能够分类的特征，特征选择的关键是其准则，根据准则的不同，将算法分为ID3、C4.5和CART。

1.信息增益

信息熵是度量样本集合纯度最常用的指标。假定当前样本集合D中第类样本所占的比例为,则D的信息熵为

                                                                                                   (1)

的值越小，则D的纯度越高。

假定离散属性a有V个可能的取值