构造决策树
什么是决策树:
- 一般一棵决策树包含一个根结点,若干内部结点和若干叶结点;
- 叶结点:决策结果;
- 其他结点:一个属性测试
特征:
- 根结点包含样本全集;
- 从根结点到每个叶子结点的路径对应了一个判定测试序列;
- 基本流程——“分而治之”
如图所示:
(图片摘自网络,侵删)
决策树如何做决策
从给定数据集中学习得到一个决策树模型,基于这个树结构,从根结点出发,根据测试数据的信息沿着树结构的分支“走到”决策树的叶子结点,即得到决策(分类)结果。通过下面的例子我们来对这个过程进行一个深入的了解。
银行的贷款部门有以下的贷款处理记录,每个记录都包含申请人的收入、信用记录、债务和最终批准决定。这些记录可以作为为贷款咨询系统构建决策树的培训示例:
样本集的各个属性对数据的分类情况如下:
收入(income):
信用记录(Gredit-history):
债务情况(Debt):
数据集有三个不同的属性,我们要如何根据这三个属性进行数据分类呢?肯定要先从中选择一个属性作为分类依据吧&#x