决策树归纳分类算法理解

原创 2015年11月19日 23:37:42

决策树归纳分类算法理解


决策树归纳是从类标记的训练数据构建决策树,属于分类领域。遍历根节点到全部叶节点的路径,每条路径都属于一个元组分类。整棵决策树形成分类规则。目前构造决策树的算法包括ID3(iterative dichotomy),C4.5,CART,都基于如下抽象的算法流程,现通过一个详细的数据集对算法进行详细解释:

由数据划分D的训练元组产生决策树


该算法名称Generate_decision_tree(,,),递归进行决策树构建。

Input:
数据划分D,即训练数据,包含训练元组(tuples)和对应类标记。
attribute_list是候选属性集
attribute_selection_method 确定分裂准则splitting_criterion(确定将哪个属性作为第一分裂属性,应该是最合适的分裂属性),包含确定分裂属性和分裂子集/分裂点。
(分裂点:针对连续型元组(每一行数据代表一个元组);分裂子集:针对离散的数据)

Output:
决策树


数据集

该数据集就是数据划分D,包含4个属性和及其对应的类标记。
attribute_list是{age,income,student,credit_rating}构成的候选属性集合。数据划分是根据属性选择度量(Gain、Gainratio、Gini指标)依次选取最合适的属性作为分裂属性。

以ID3算法为例:
分别计算四个属性的信息增益值:Gain(age)、Gain(income)、Gain(student), Gain(credit_rating) (具体求解见博文……)得到Gain(age)最高,故其被选为第一个最合适的分裂属性,其有三个分裂子集,分别对应youth、middle_aged、senior构成的子数据集。
算法中j表示属性age的三个值youth、middle_aged、senior。
Dj表示按这三个值分类对应的新数据划分,如下:
age属性数据划分
j的值就是age属性拥有的值的个数,构成了新的数据划分。然后分别针对D1,D2,D3递归调用Generate_decision_tree(,,)
递归出口:
1.Di中的元组都属于同一类,直接将其所属的类作为叶节点
2. 候选属性集attribute_list为空,将Di中的多数类作为叶节点。

版权声明:本文为我很帅的原创文章,想要转载联系我哦。

决策树归纳

分类与监督学习 现实中,我们经常会遇到这样的问题:银行收到用户的信用卡申请表。当然,这是一张带有用户丰富信息的申请表,比如年龄,学历,收入,信用记录等等。那么银行的工作人员如何根据这些信息判别这个用...
  • guoziqing506
  • guoziqing506
  • 2017年03月26日 10:16
  • 1173

决策树的完整知识点总结

一、原理   决策树是一种非参数的监督学习方法,它主要用于分类和回归。决策树的目的是构造一种模型,使之能够从样本数据的特征属性中,通过学习简单的决策规则——IF THEN规则,从而预测目标变量的值...
  • qq_36693404
  • qq_36693404
  • 2016年11月26日 16:29
  • 1932

第八章 基于规则的分类

1、使用IF-THEN规则分类         规则是表示信息或少量知识的好方法。基于规则的分类器使用一组IF—THEN规则进行分类。一个IF—THEN规则是一个如下的表达式:      ...
  • sjpz0124
  • sjpz0124
  • 2015年05月25日 21:54
  • 1943

决策树分类算法小结

决策树主要有ID3,C4.5,CART等形式。ID3选取信息增益的属性递归进行分类,C4.5改进为使用信息增益率来选取分类属性。CART是Classfication and Regression Tr...
  • a353833082
  • a353833082
  • 2015年05月11日 19:28
  • 1732

分类算法之决策树(Decision tree)

1.1、决策树引导       通俗来说,决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友,于是有了下面的对话:       女儿:多大年纪了?       母亲:26。...
  • YiDaMi
  • YiDaMi
  • 2016年08月02日 14:19
  • 2178

分类算法-----决策树

我的照片书  |         第一篇:从决策树学习谈到贝叶斯分类算法、EM、HMM                       (Machine Learning & Da...
  • lphbtm
  • lphbtm
  • 2016年03月11日 08:27
  • 2342

机器学习之决策树——学习总结

决策树学习总结 机器学习的应用越来越广泛,特别是在数据分析领域。本文是我学习决策树算法的一些总结。 机器学习简介机器学习 (Machine Learning) 是近 20 多年兴起的一门多领域交叉...
  • zhaorongsheng
  • zhaorongsheng
  • 2017年01月22日 17:16
  • 1454

大白话讲解决策树【案例】:如何区分西方人和东方人

【前言】: 决策树是一种十分常用的分类方法。它是一种监督学习,所谓监督学习就是给定一堆样本,每个样本都有一组属性和一个类别,这些类别是事先确定的,那么通过学习得到一个分类器,这个分类器能够对新出现的对...
  • l18930738887
  • l18930738887
  • 2015年08月15日 21:47
  • 1322

数据挖掘十大算法之决策树详解(1)

在2006年12月召开的 IEEE 数据挖掘国际会议上,与会的各位专家选出了当时的十大数据挖掘算法( top 10 data mining algorithms )。本博客已经介绍过的位列十大算法之中...
  • baimafujinji
  • baimafujinji
  • 2016年11月20日 10:51
  • 23390

决策树分类和预测算法的原理及实现

决策树是一种通过对历史数据进行测算实现对新数据进行分类和预测的算法。简单来说决策树算法就是通过对已有明确结果的历史数据进行分析,寻找数据中的特征。并以此为依据对新产生的数据结果进行预测。 决策树...
  • czp11210
  • czp11210
  • 2016年04月15日 14:36
  • 9481
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:决策树归纳分类算法理解
举报原因:
原因补充:

(最多只允许输入30个字)