机器学习--决策树（10）

一、基本概念

1.1 是什么

分类决策树模型是一种描述对实例进行分类的树形结构，相当于if-then结构。决策树由节点和有向边构成。节点有两种：一种是内部节点，表示一个特征或者属性；另一种是叶子节点，表示一个决策结果。

1.2 优缺点

优点：模型具有可读性、分类速度快
缺点：容易产生过拟合

1.3 决策过程

从根节点开始，对实例的某一个属性进行分裂，根据分裂结果将实例分配到其子节点。这时，每一个子节点对应该特征的一个取值，如此递归的对实例进行测试分类，直至到达叶子节点。最后将实例分配到叶节点的类中。

可以看出它的流程基本遵循简单且直观的“分而治之”策略。

那么什么时候递归完成呢？
①、当前节点包含的样本集全属于同一类别
②、当前属性集为空
③、当前节点包含的样本集为空

1.4 目标

产生一颗泛化能力强的树，

二、决策树生成

2.1 ID3

①、熵
表示随机变量不确定性的度量
信息熵：度量样本集纯度常用的一种指标

公式：

对于离散随机变量X，信息为

信息熵为：