【数据挖掘导论】对于决策树要掌握的几个问题

1. 什么是决策树？如何构建一棵决策树？

决策树是一种分类技术，一般使用hunt算法构建一个决策树，Hunt算法的递归定义如下：（1）如果所有记录属于同一个类，则该节点作为叶子节点；（2）否则，选择一个属性将其分为更小的类，将记录保存在子女节点中，然后对于子女节点递归地调用该算法。

2. 介绍一下常见的几种衡量不纯度的方式。

常见的几种指标包括：熵、基尼指数、classification error
上述的三种指标越大，说明信息越混乱，不纯度就越高。

3. 什么是ID3算法？

在Hunt算法的基础之上，选择信息增益作为每次衡量划分效果的指标，选择信息增益最大的属性进行分裂。

信息增益是划分前节点的熵和划分后所有节点的熵的加权平均值的差，一般而言，差值越大，说明划分效果越好。

4. 什么是C4.5算法？有什么好处？

在Hunt算法的基础之上，选择增益率作为每次衡量划分效果的指标，选择增益率最大的属性进行分裂。

增益率是信息增益与Split Info的比值，其中
训练数据集S通过属性A的属性值划分为m个子数据集， |Sj|表示第j个子数据集中样本数量， |S|表示划分之前数据集中样本总数量。

ID3算法解决了熵和基尼指数等不纯度度量趋向有利于具有大量不同值的属性的问题。

5. 对于连续属性该如何划分？

将连续属性从小到大排序，从相邻的排过序的属性值中选择中间值作为候选划分点。

6. 决策树中如何避免过拟合现象？

剪枝，包括先剪枝和后剪枝。
后剪枝过程是在生成完全决策树之后进行的，并且要自底向上地对树中所有非叶节点进行逐一考察，因此其训练时间开销比未剪枝决策树和预剪枝决策树都要大的多。