1 决策树定义
决策树分为分类决策树和回归决策树。分类决策树应用范围比较广,其核心思想就是在一个数据集上找到一个最优的特征,然后从这个特征的选值中找到一个最优的候选值,根据这个最优候选值将数据集划分为两个子数据集,然后递归上述操作,直到满足指定条件为止。以下主要介绍分类决策树。
决策树的生成过程主要包括三步:特征选择,决策树生成以及决策树剪枝。
2 决策树的特征选择和生成方法
决策树的特征选择方法:信息增益最大化准则,信息增益比最大化准则,基尼指数最小化准则。
2.1 信息增益最大化准则(ID3算法)
2.2 信息增益比最大化准则(C4.5算法)