目录
1 定义
决策树是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。在机器学习中,决策树是一个预测模型,他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度,使用算法ID3、C4.5和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。
举个例子,我们要对“这是好瓜吗”这个问题进行决策时,通常会进行一系列子决策:通过色泽、根蒂、敲声等方式进行判断,最终得出结论是否为好瓜,这个过程即可以看作一个决策树运行的过程。
2 基本流程
决策树通常有三个步骤:特征选择、决策树的生成、决策树的修剪。
一个决策树包含了一个根节点,若干个内部节点和若干个叶节点。用决策树分类时,从根节点开始,对实例的某一特征进行测试,根据测试结果将实例分配到其子节点,此时每个子节点对应着该特征的一个取值,如此递归的对实例进行测试并分配,直到到达叶节点,最后将实例分到叶节点的类中。
下图为决策树示意图,圆点——内部节点,方框——叶节点。
此图采用博客https://blog.csdn.net/jiaoyangwm/article/details/79525237中的图
决策树学习的目的是为了产生一棵泛化能力强,即处理未见实例能力强的决策树,其基本流程遵循简单且直观的“分而治之”的思想 。决策树算法的伪码如下图所示。
3 划分选择
在选择每一步的特征值时,如何对特征选择的先后进行判断呢?以判断西瓜好坏为例子,图4-1中以“色泽-根蒂-敲声”的顺序进行判断,那可不可以以“敲声-色泽-根蒂”的顺序进行判断呢?这里提供三种划分选择的方式。
3.1 信息增益(ID3)
这里引入熵的概念。“信息熵”是度量样本集合纯度的最常用的一种指标。假定当前样本集合D中第k类样本所占比例为pk,则样本集合D的信息熵定义为:
Ent(D)的值越小,D的纯度越高。
<