决策树（一）

构造决策树

什么是决策树：

1. 一般一棵决策树包含一个根结点，若干内部结点和若干叶结点；
2. 叶结点：决策结果；
3. 其他结点：一个属性测试

特征：

1. 根结点包含样本全集；
2. 从根结点到每个叶子结点的路径对应了一个判定测试序列；
3. 基本流程——“分而治之”

如图所示：

（图片摘自网络，侵删）

决策树如何做决策

从给定数据集中学习得到一个决策树模型，基于这个树结构，从根结点出发，根据测试数据的信息沿着树结构的分支“走到”决策树的叶子结点，即得到决策（分类）结果。通过下面的例子我们来对这个过程进行一个深入的了解。

银行的贷款部门有以下的贷款处理记录，每个记录都包含申请人的收入、信用记录、债务和最终批准决定。这些记录可以作为为贷款咨询系统构建决策树的培训示例：

样本集的各个属性对数据的分类情况如下：
收入（income）:

信用记录（Gredit-history）:

债务情况（Debt）:

数据集有三个不同的属性，我们要如何根据这三个属性进行数据分类呢？肯定要先从中选择一个属性作为分类依据吧&#x