机器学习——决策树2

一、剪枝处理

1、剪枝原因

• 剪枝是决策树学习算法解决“过拟合”问题的主要手段。
• 为什么会产生“过拟合”问题：在决策树的学习过程中，为了尽可能正确地分类训练样本，结点划分过程不断重复，有时会造成决策树分支过多，于是可能将训练样本学得太好，把训练集数据中一些特点当作所有数据都具有的一般特点了（以偏概全），导致测试集预测效果不好，这就是过拟合现象。
• “过拟合”会让决策树模型学习到并不具备普遍意义的分类决策条件，从而导致模型的分类效率、泛化能力降低。

2、剪枝的基本策略

剪枝后的效果如何判断：将数据集一部分作为训练集，一部分作为验证集来检验剪枝后的效果。

1、预剪枝

• 概念： 顾名思义，就是在树长好之前就预先剪掉分支，将即将长出的分支扼杀，不进行该分支划分。
• 主要方法：

1.当决策树达到预设的高度时就停止决策树的生长
2.达到某个节点的实例具有相同的特征向量，即使这些实例不属于同一类，也可以停止决策树的生长。
3.定义一个阈值，当达到某个节点的实例个数小于阈值时就可以停止决策树的生长。
4.通过计算每次扩张对系统性能的增益，决定是否停止决策树的生长。
上述不足：阈值属于超参数，很难找到过拟合–欠拟合的trade-off

• 三大准则
  （1）树的高度是否超过阈值（10-15最合适）。
  （2）结点的样本量是否小于阈值（太少容易过拟合）。
  （3）划分前后验证集的精度是否提高。

• 预剪枝过程
  生成决策树的过程中，在每个结点划分之前先进行计算，比较划分该结点前后决策树泛化性能是否提升，如果提升则划分该结点，如果不能提升则停止划分并将当前结点记为叶结点，其类别标记为该结点对应训练样例数最多的类别（好瓜or坏瓜）。

例子：

计算过程：（根蒂）
（1）不划分：将其标记为叶结点，类别标识为训练样例中最多的类别，即好瓜。则验证集中{4，5，8}被分类正确，得到验证集精度为
3/7100%=42.9%
（2）划分：如果划分，如图所示将三个结点进行标记。此时，验证集中编号为{4，5，8，11}的样例被划分正确，验证集精度为4/7100%=57.1%

（3）进行判断：划分前=42.9%<划分后=57.1%，所以预剪枝决策为：划分。

• 优缺点

• 优点

• 缺点
  因为预剪枝和贪心算法相似，都是注重局部最优，所以并不能保证在剪枝掉的分支的基础上进行的后续划分对性能的提高没有帮助，而是直接在最开始就遏制分支的展开，带来了欠拟合风险。

2、后剪枝

• 概念： 与预剪枝对应，后剪枝是在决策树完全生成之后才进行的剪枝操作。
• 后剪枝过程：

先从训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行分析计算，若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升，则将该子树替换为叶结点。
· 注：不能剪叶子结点，毫无意义

例子

• 优缺点

· 从精度上来说，后剪枝会比预剪枝好

二、连续值处理

1、原因

• 连续属性取值数目非有限，不能像处理离散属性取值一样对结点直接进行划分，所以需要将连续属性离散化。

• 与离散属性不同，若当前结点划分属性为连续属性，该属性还可作为其后代结点的划分属性

2、离散化方法（二分法）

常用的离散化方法是二分法

简单来说：
（1）将样本集中连续属性的取值从小到大排序；
（2）找到候选划分点（一般是中位点），将取值分为小于等于划分点的和大于划分点的；
（3）计算候选划分点的增益，选择增益最大的作为最终的划分点。

3、例子

（1）先对属性“密度”的取值进行排序（从小到大）
{0.243，0.245，0.343，0.360，0.403，0.437，0.481，0.556，0.593，0.608，0.634，0.639，0.657，0.666，0.697，0.719，0.774}
（2）计算候选划分点（16个：每两个取值之间有一个划分点，共17个取值，所以会有16个划分点）
（3）一个个计算候选划分点的增益进行比较

三、代码实现

1、预剪枝

（1）预剪枝代码实现

# 创建预剪枝决策树
def createTreePrePruning(dataTrain, labelTrain, dataTest, labelTest, names, method='id3'):
    """
    预剪枝 需要使用测试数据对每次的划分进行评估
         策略说明：原本如果某节点划分前后的测试结果没有提升，将不进行划分（即执行剪枝），但考虑到这种策略容易造成欠拟合，
                   且不能排除后续划分有进一步提升的可能，因此，没有提升仍保留划分，即不剪枝
    """
    trainData = np.asarray(dataTrain)
    labelTrain = np.asarray(labelTrain)
    testData = np.asarray(dataTest)
    labelTest = np.asarray(labelTest)
    names = np.asarray(names)
    # 如果结果为单一结果
    if len(set(labelTrain)) == 1:
        return labelTrain[0]
        # 如果没有待分类特征
    elif trainData.size == 0:
        return voteLabel(labelTrain)
    # 其他情况则选取特征
    bestFeat, bestEnt = bestFeature(dataTrain, labelTrain, method=method)
    # 取特征名称
    bestFeatName = names[bestFeat]
    # 从特征名称列表删除已取得特征名称
    names = np.delete(names, [bestFeat])
    # 根据最优特征进行分割
    dataTrainSet, labelTrainSet = splitFeatureData(dataTrain