决策树模型总结

1 决策树定义

决策树分为分类决策树和回归决策树。分类决策树应用范围比较广，其核心思想就是在一个数据集上找到一个最优的特征，然后从这个特征的选值中找到一个最优的候选值，根据这个最优候选值将数据集划分为两个子数据集，然后递归上述操作，直到满足指定条件为止。以下主要介绍分类决策树。

决策树的生成过程主要包括三步：特征选择，决策树生成以及决策树剪枝。

2 决策树的特征选择和生成方法

决策树的特征选择方法：信息增益最大化准则，信息增益比最大化准则，基尼指数最小化准则。

2.1 信息增益最大化准则（ID3算法）

2.2 信息增益比最大化准则（C4.5算法）

2.3 基尼指数最小化准则（CART算法）