0523西瓜书——04决策树

一、树的划分流程

二、树如何进行划分

如何选择最优划分属性？我们希望决策树分支节点所包含的样本尽可能属于同一类别，即结点的“纯度”越来越高。

1、信息增益

信息增益：结点划分前后信息熵的差值。

2、增益率

信息增益准则对可取值数目较多的属性有所偏好，为减少这种偏好可能带来的不利影响，因此采用增益率来选择最优划分属性。

增益率准则对可取数目较少的属性有所偏好，因此C4.5算法不是直接选择增益率最大的候选划分属性，而是先从候选划分属性中找出信息增益率最大的候选划分属性，再从中选择增益率最高的。

3、基尼指数

CART决策树使用“基尼指数”来选择划分属性。

三、对抗过拟合的手段——剪枝处理

决策树剪枝的基本策略有“预剪枝”和“后剪枝”。预剪枝是在决策树生成过程中，对每个结点在划分前先进行评估；后剪枝是先从训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行考察。
后剪枝决策树通常比预剪枝决策树保留更多的分支，一般情况下，后剪枝欠拟合的风险很小，泛化能力往往优于预剪枝决策树。但后剪枝是先生成树再自底向上的对所有非叶结点进行逐一考察，其训练时间开销比未剪枝和预剪枝决策树都要大得多。

四、如何处理连续值、缺失值

连续值的处理：二分法。找区间的中位点作为候选划分点。
缺失值的处理：

对于问题1，我们可以仅根据没有缺失的样本来判断属性优劣

学习资料：机器学习——周志华