决策树--

叶结点对应于决策结果，其他每个结点对应于一个属性测试；根节点到每个叶节点的路径对应了一个判定测试序列。

信息增益：

 设属性a有V个可能的取值，用a对样本集D进行划分获得“信息增益”：

 一般而言，信息增益越大则意味使用属性a进行划分所获得的“纯度提升”越大。

增益率：

实际上，信息增益准则对科鼩属之数目较多的属性有所偏好，因此使用“增益率”来选择最优划分属性：

称为属性a的“固有值：。 

 注意：增益率对可取数目较少的属性有所偏好，因此可先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。

基尼指数：

数据集D的纯度用基尼度表示：

基尼指数反映了从数据集D中随机抽取两个样本，其类别表及不一致的概率（Gini(D)越小，数据集D的纯度越高 ）

 属性a的基尼指数定义：

 因此在侯选属性集合中选择使得划分后基尼指数最小的属性作为最优化分属性。

 剪枝处理：

1）预剪枝：使得决策树的很多分支都没有”展开“，不仅降低了过拟合的风险，还显著减少了决策树的训练时间开销和测试时间开销；但有些分支当前划分虽不能提升划分性能，但在其基础上进行的后续划分却有可能导致性能提高。预剪枝基于”贪心“本质禁止这些分支展开给预剪枝决策树带来了欠拟合的风险。

2）后剪枝：一般情况下，后剪枝决策树的欠拟合风险小，但简直过程是在生成完全决策树之后进行的，并且要自底向上地对树中所有非叶结点进行逐一考察，因此训练时间开销大。

连续值处理：连续属性的可取值数目不再有限，不能直接根据连续属性的可取值进行划分，采用连续属性离散化技术。采用二分法对连续属性进行处理：给定样本集D和连续属性a，a在D上出现了n个不同的去取值，将值从小到大排序记为{a1,a2,...,an}，把任意相邻区间[ai,ai+1）的中位点作为候选划分点，此时可像离散属性值来考察这些划分点：