什么是决策树算法

转载 2012年05月20日 10:40:25

1.1、什么是决策树

    咱们直接切入正题。所谓决策树,顾名思义,是一种树,一种依托于策略抉择而建立起来的树。

    机器学习中,决策树是一个预测模型;他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象,而每个分叉路径则代表的某个可能的属性值,而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出,若欲有复数输出,可以建立独立的决策树以处理不同输出。
    从数据产生决策树的机器学习技术叫做决策树学习, 通俗点说就是决策树。

    来理论的太过抽象,下面举两个浅显易懂的例子:

第一个例子

    套用俗语,决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友,于是有了下面的对话:

      女儿:多大年纪了?
      母亲:26。
      女儿:长的帅不帅?
      母亲:挺帅的。
      女儿:收入高不?
      母亲:不算很高,中等情况。
      女儿:是公务员不?
      母亲:是,在税务局上班呢。
      女儿:那好,我去见见。

      这个女孩的决策过程就是典型的分类树决策。相当于通过年龄、长相、收入和是否公务员对将男人分为两个类别:见和不见。假设这个女孩对男人的要求是:30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员,那么这个可以用下图表示女孩的决策逻辑:

    也就是说,决策树的简单策略就是,好比公司招聘面试过程中筛选一个人的简历,如果你的条件相当好比如说某985/211重点大学博士毕业,那么二话不说,直接叫过来面试,如果非重点大学毕业,但实际项目经验丰富,那么也要考虑叫过来面试一下,即所谓具体情况具体分析、决策。

第二个例子

    此例子来自Tom M.Mitchell著的机器学习一书:

    小王的目的是通过下周天气预报寻找什么时候人们会打高尔夫,他了解到人们决定是否打球的原因最主要取决于天气情况。而天气状况有晴,云和雨;气温用华氏温度表示;相对湿度用百分比;还有有无风。如此,我们便可以构造一棵决策树,如下(根据天气这个分类决策这天是否合适打网球):

    上述决策树对应于以下表达式:

(Outlook=Sunny ^Humidity<=70)V (Outlook = Overcast)V (Outlook=Rain ^ Wind=Weak)

转载:http://blog.csdn.net/v_july_v/article/details/7577684

数据挖掘十大算法之决策树详解(1)

在2006年12月召开的 IEEE 数据挖掘国际会议上,与会的各位专家选出了当时的十大数据挖掘算法( top 10 data mining algorithms )。本博客已经介绍过的位列十大算法之中...
  • baimafujinji
  • baimafujinji
  • 2016-11-20 10:51:32
  • 35521

简单易学的机器学习算法——决策树之ID3算法

一、决策树分类算法概述 二、ID3
  • google19890102
  • google19890102
  • 2014-06-05 15:21:09
  • 36705

【机器学习】决策树(上)——从原理到算法实现

决策树模型呈树形结构,在分类问题中,表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。...
  • HerosOfEarth
  • HerosOfEarth
  • 2016-08-28 21:11:42
  • 30741

决策树算法(有监督学习算法)

一、决策树基础    决策树(Decision Tree)算法是根据数据的属性采用树状结构建立决策模型,这个模型可以高效的对未知的数据进行分类。决策树模型常常用来解决分类和回归问题。如今决策树是一种...
  • Chenyukuai6625
  • Chenyukuai6625
  • 2017-06-24 10:13:12
  • 1508

决策树算法原理及案例

机器学习在各个领域都有广泛的应用,特别在数据分析领域有着深远的影响。决策树是机器学习中最基础且应用最广泛的算法模型。本文介绍了机器学习的相关概念、常见的算法分类和决策树模型及应用。通过一个决策树案例,...
  • hu948162999
  • hu948162999
  • 2017-06-12 16:57:30
  • 3012

决策树类算法理论

熵: 如果一件事有k种可的结果,每种结果的概率为 pi(i=1…k) 该事情的信息量: 熵越大,随机变量的不确定性越大。 信息增益: 特征A对训练数据集D的信息增益g(D,A),定义为集合D...
  • slade_sha
  • slade_sha
  • 2016-11-13 21:39:29
  • 2178

决策树算法原理

决策树算法在机器学习中算是很经典的一个算法系列了。它既可以作为分类算法,也可以作为回归算法,同时也特别适合集成学习比如随机森林。本文就对决策树算法原理做一个总结,上篇对ID3, C4.5的算法思想做了...
  • csshuke
  • csshuke
  • 2017-07-15 01:27:51
  • 867

决策树算法的优缺点

转自:http://blog.csdn.net/gamer_gyt/article/details/51226904 决策树算法的优点: 1:理解和解释起来简单,且决策树模型可以想象 2:需要准备的数...
  • xuxiatian
  • xuxiatian
  • 2017-01-11 09:06:38
  • 5154

决策树算法

在Journal of knowledge and Information Systems,  2007 上出现过一篇文章。 “Top 10 algorithms in Data Mining”。 其...
  • a130737
  • a130737
  • 2015-03-27 14:28:07
  • 1786

决策树之ID3算法

今天,我来讲解的是决策树。对于决策树来说,主要有两种算法:ID3算法和C4.5算法。C4.5算法是 对ID3算法的改进。今天主要先讲ID3算法,之后会讲C4.5算法和随机森林等。   Conte...
  • ACdreamers
  • ACdreamers
  • 2015-03-27 00:32:39
  • 61961
收藏助手
不良信息举报
您举报文章:什么是决策树算法
举报原因:
原因补充:

(最多只允许输入30个字)