机器学习(三)决策树算法Decision Tree

本文深入浅出地介绍了机器学习中的决策树算法(Decision Tree)。通过一个通俗易懂的例子解释了决策树的原理,展示了如何用决策树解决实际问题。接着,文章详细阐述了决策树的构造过程,包括连续和离散属性的处理,并介绍了ID3算法的熵和信息增益概念。最后,提到了决策树的优缺点和与其他算法的区别,以及防止过拟合的剪枝策略。
摘要由CSDN通过智能技术生成

       上面两篇博客对机器学习有了简单的介绍,并介绍了机器学习中的一些基本的概念;下面我们来介绍机器学习中的第一个算法决策树算法DT(Decision Tree)。

        介绍Decision Tree之前我先来引入一些经典的小例子来说明什么是决策树。如下面的图:

        

       

       在当今这个社会尤其是我们这群程序员对象是一个很头疼的问题,于是就出现了非诚勿扰,缘来了,等等一些大型的综艺节目,有些时候由于子女工作忙的原因,于是有些地方也就出现了父母替子女见面,父母替子女见对方,不像年轻的子女一样看脸,而是内心默默的出现了一些评判标准,于是上面图片的分叉树就产生了,比如年龄最高不能超过30岁,否则不见,年龄在30岁以下,再看相貌,如果相貌难以接受,不见,如果相貌可以接受,于是现实问题就来了,收入怎么样,收入高的见,收入低的不见(不能让孩子吃苦啊),收入中等呢再看有没有铁饭碗,有呢就见,没有呢就不见,慢慢在无数父母中间就形成了这么一套不成文的规则,慢慢的被大家接受。但是呢,父母最终的愿望就是子女能幸福。有心的人看着上面的那副图片,有没有像我们数据结构常说的分叉树呢?可是我这分叉树代表了一些父母的决策,于是乎有了很高大上的名字-------决策树DT(Decision Tree)。当然决策树的典故肯定不是我说的这样,我只是想让大家形象的知道什么是决策树。其实上面的介绍父母给自己子女选择对象时,就很好的执行了机器学习中的决策树算法。其中绿色的圆圈就代表了一些判断条件和机制,而深橙色的圆圈就代表某一个实体在这个决策树中的执行结果-----见或者不见。


       上面的图片也很好的体现了决策树算法,其中age是根节点,credit_rating是叶节点,yes是树叶,那条指着黑色线连接age和credit_rating的红色箭头是分支即判断条件。

       下面来说一说决策树的概念及其定义。

        决策树是在已经知道的各种情况的发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于0的概率,来评价一件事的风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。在机器学习中,决策树是一种预测模型,它代表了对象属性与对象值之间的一种映射关系。

        决策树又称判定树:英文名字是Decision Tree;决策树是类似于流程图的树形结构,其中每个内部节点表示在一个属性上的测试,每个分支代表一个属性的输出,而每个树叶节点代表类或者类分布。树的最顶层是根节点。

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值