决策树桩(Decision Stump)

1. 何为决策树桩？

 

单层决策树（decision stump），也称决策树桩，它是一种简单的决策树，通过给定的阈值进行分类。

​

从实际意义上来看，决策树桩根据一个属性的单个判断(但是实际上待判断的物体具有多个属性)就确定最终的分类结果。这种特性比较适合做集成学习中的弱学习器，因为其至少比随机的效果好一些，又计算较为容易。

2. 关键问题

根本目的：通过选择一个合适的决策树桩(弱学习器)，使得物体类别识别准确率尽可能高。

怎么选择一个合适的决策树桩？

1. 从所有属性中，选择那个属性作为决策树桩(弱学习器)
2. 该决策树桩的阈值设定为何值(上图中是1.75)？
3. 是小于阈值识别为1(yes)，还是大于阈值识别为1(yes)。一般情况下设定为小于。

3. MATLAB代码实现

​

 

主函数test主要是数据的加载和决策树桩的调用, 并呈现最佳的决策树桩以及判断错误的概率。

首先看如何在整个数据集上获得最佳的决策树桩，使得判断错误的概