第四章-决策树

1.基本流程

决策树是基于树结构来进行决策的。一般的，一棵决策树包含一个根节点、若干个内部结点和若干个叶结点。根结点包含样本全集，叶结点对应于决策结果，其他每个结点则对应于一个属性测试。其基本流程遵循简单且直观的“分而治之”策略。

2.划分选择

（1）信息熵是度量样本集合纯度最常用的一种指标

（2）信息增益越大，则意味着使用属性a来进行划分所获得的纯度提升越大。著名的ID3决策树学习算法就是以信息增益为准则来选择划分属性。

（3）信息增益准则对可取值数目较多的属性有所偏好，为减少这种偏好可能带来的不利影响，著名的C4.5决策树算法不直接使用信息增益，而是使用增益率来选择最优划分属性。

（4）基尼系数

3.剪枝处理

（1）预剪枝是对决策树每个结点在划分前先进行估计，若当前结点的划分不能带来泛化性能提升，则停止划分。预剪枝使得决策树很多分支没有展开，降低了过拟合的风险，减少了决策树的训练和测试时间开销，但带来了欠拟合的风险。

（2）后剪枝是先从训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行考察，若能带来泛化性能提升，则该子树替换为叶结点。一般来说，后剪枝决策树的欠拟合风险小，泛化性能往往优于预剪枝决策树，但其训练时间开销比未剪枝和预剪枝决策树大得多。

4.连续与缺失值

（1）连续。决策树中的连续属性采用离散化技术。最简单的策略是采用二分法。可将划分点设为该属性在训练集中出现的不大于中位点的最大值。

（2）缺失值。

5.多变量决策树

多变量决策时(multivariate decision tree)是能实现斜划分甚至更复杂划分的决策树。以实现斜划分的多变量决策树为例，在此类决策树中，非叶结点不再是仅对某个属性，而是对属性的线性组合进行测试。