机器学习笔记（四）-决策树

决策过程的最终结果对应我们期望的判定结果，一颗决策树包含一个根结点、若干个内部结点、若干个叶结点。决策树的生成是一个递归的过程，一般三种情况会导致递归返回：

（1）当前结点包含的样本属于同一类别，无需划分

（2）当前属性集为空，或者所有样本在所有属性上取值相同，无法划分（此时我们把当前结点标记为叶结点，将其类别设定为该结点所含样本最多的类别，是利用当前结点的后验分布）

（3）当前结点包含的样本集合为空，不能划分（把父节点的样本分布作为当前结点的先验分布）。

决策树学习关键：即如何选择最优划分属性，一般我们希望分支结点包含的样本尽可能属于同一类别。

划分选择：这些准则对决策树的尺寸影响较大，对其泛化能力影响较小

1、以信息增益作为准则----对取值数目较多的属性有偏好

定义信息熵作为样本纯度度量的指标。

2、增益率----对取值数目较少的属性有偏好

3、基尼系数

剪枝处理：使用方法和程度对决策树泛化能力影响显著

目的：为了解决过拟合

基本策略：预剪枝（可能带来欠拟合风险）、后剪枝（欠拟合的风险很小，泛化性能往往优于预剪枝）

连续与缺失值（在决策数中使用连续属性）

连续值处理：连续属性在样本上的取值进行排序，对相邻属性取值的中位数作为候选点进行划分。

PS:若当前结点划分属性为连续属性，该属性还可以作为其后代结点的划分属性，这一点与离散属性不同。

缺失值处理：
问题：属性值缺失如何进行划分属性选择；给定划分属性，样本在该属性上缺失值，应如何对样本进行划分。

方法：利用没有缺失的样本判断属性的优劣；给样本属性已知和样本属性未知的样本不同的权值。

多变量决策树：

将每个属性视为一个坐标轴，对样本分类意味着在这个坐标空间中寻找不同类样本之间的分类边界，决策树分类边界有一个明显的特点，即由若干个与坐标轴平行的分段组成，因此具有较好的可解释性。当使用斜划分时，就成为了多变量决策树。此时，非叶结点不再是某一个属性，而是对属性的线性组合进行测试。