简单粗暴理解与实现机器学习之决策树算法（一）：决策树算法简介（附手写笔记）

最新推荐文章于 2024-04-21 11:36:12 发布
VIP文章 最新推荐文章于 2024-04-21 11:36:12 发布
阅读量785 收藏 4
点赞数 5
分类专栏： 【机器学习与深度学习】 文章标签： 决策树 算法 python 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35456045/article/details/104558580
版权

决策树算法

   朴素贝叶斯要求特征相互独立，只能处理文本这种，更好的分类要用到决策树，决策树后面还有更更好的随机森林属于集成学习 可以解决很多的事情

文章目录

学完决策树算法，您应该掌握

  • 掌握决策树实现过程
  • 知道信息熵的公式以及作用
  • 知道信息增益的作用
  • 知道信息增益率的作用
  • 知道基尼指数则作用
  • 知道id3,c4.5，cart算法的区别
  • 了解cart剪枝的作用
  • 应用DecisionTreeClassifier实现决策树分类

一、决策树算法简介

在这里插入图片描述

最低0.47元/天 解锁文章
汪雯琦
关注
  • 5
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
决策树简介
12-15
决策树实现的基本原理，包括简单的数学推导和基本概念
python使用ID3、C4.5、CART实现西瓜数据集决策树并画出图像
12-06
python，西瓜数据集，分别用ID3、C4.5、CART决策树进行西瓜好坏的分类决策，画出树的图像，机器学习
jueceshu.rar_C4.5 Iris_decision tree id3_id3 c4.5 cart_决策树 ID3_
07-14
从网络上搜集的决策树源码，包括C4_5、ID3、CART_iris三个源码，供大家一起学习研究。
人工智能-机器学习-决策树-决策树分类（ID3，C4.5，CART）
07-09
Decision_tree-python 决策树分类（ID3，C4.5，CART） 三种算法的区别如下： (1) ID3算法以信息增益为准则来进行选择划分属性，选择信息增益最大的； (2) C4.5算法先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的； (3) CART算法使用“基尼指数”来选择划分属性，选择基尼值最小的属性作为划分属性.
34_ID3_C4.5_CART算法总结与对比1
08-03
1. 最优划分属性选择法：信息增益 2. 分数：可多分 3. 能否处理连续值特征：不能 4. 缺点：偏好与可取值数多的属性 1. 最优划分属性选择法：增益率 2
机器学习之朴素贝叶斯、贝叶斯信念网络
薛定谔的猫-前端领域
02-21 1612
朴素贝叶斯算法是有监督的学习算法，解决的是分类问题，如客户是否流失、是否值得投资、信用等级评定等多分类问题。该算法的优点在于简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提，就会导致算法精度在某种程度上受影响。 贝叶斯决策理论 假设现在我们有一个数据集，它由两类数据组成，数据分布如下图所示： ...
机器学习基础：独立性与条件独立性
Hanze的博客
03-28 2244
机器学习基础：独立性与条件独立性独立性条件独立性 独立性 两个随机变量x，y，概率分布表示称两个因子的乘积形式，一个因子只包含x，另一个因子只包含y，两个随机变量相互独立。 条件有时为不独立的事件之间带来独立，有时也会吧本来独立的事件带来不独立。 举例：(P(XY)=P(X)P(Y)(P(XY)=P(X)P(Y)(P(XY)=P(X)P(Y)，事件X和事件Y独立，此时给定Z，P(X,Y∣Z)≠P(X∣Z)P(Y∣Z)P(X,Y|Z) \not=P(X|Z)P(Y|Z)P(X,Y∣Z)​=P(X∣Z)P(
【机器学习】特征独立性检验-特征太多删特征-删who呢
littlemichelle
12-16 1317
MvTest独立性分析方法——检验数值型特征与label是否有关系，删除与label无关（独立）的特征； corr协方差函数 相关性分析——找到数值型特征与数值型特征之间相关性高的数值型特征，然后删除（相关性高的数值型特征仅保留1个）； 卡方检验——检验类别型特征与label是否有关系，删除与label无关的特征（删除卡方值大的类别型特征）；
【机器学习】 朴素贝叶斯
z577554980的博客
09-21 218
贝叶斯定理原理： 贝叶斯定理解决了现实生活李经常遇到的问题：已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P（A|B）的情况下如何求P（B|A）. 朴素贝叶斯分类器： （假定每个样本与其他样本的特征都不相关） 朴素贝叶斯分类方法，是利用贝叶斯定理来预测一个未知类别的样本属于各个类别的可能性，选择其中可能性最大的一个类别作为该样本的最终类别。 一般我们可以认为属性，样本不相关性越强效果越好！ 朴素贝叶斯分类器的公式： 朴素贝叶斯和贝叶斯定理的最大差别就是朴素贝叶斯假定我们
机器学习系列【分类】scikit-learn(一）
不管风吹浪打，胜似闲庭信步
06-20 487
朴素贝叶斯是经典的机器学习算法之一，同时也是为数不多的基于概率论的分类算法。不过朴素贝叶斯算法相对而言，还是很简单，很容易理解的。用一句话概括理解就是：通过已知数据判定未知数据的一个概率问题，多用于文本分类，比如垃圾邮件过滤等。
1.ID3、C4.5、CART、SLIQ算法介绍
01-15
ID3 算法 ID3 算法以信息增益作为分裂属性的选择标准，选择具有最高信息增益的属性最为最佳分裂属性，这样熵减少的程度最大，使得当前划分后得到的数据集再次划分的时候所需要的信息最小。 举例说明 有房 婚姻状况 是否拖欠贷款 是 单身 否 否 已婚 否 否 单身 否 是 已婚 否 否 离异 是 否 已婚 否 是 离异 否 否 单身 是 否 已婚 否 否 单身 是 整个数据集D有3个是，7个否，其信息量（熵）为： I=Info（3,7）=-3/10*-7/10*=0.8813 假设现在来看有房情况这个属性，那么按照它划分后的信息增益计算如下： 有房 无房 是 0 3 否 3 4 =3/10*Info(0，3)+7/10*Info(3，4)=0.690 =I-=0.8813-0.690=0.1913 同理婚姻状况这个属性： 离异 已婚 单身 是 1 0 2 否 1 4 2 =2/10*Info(1,1)+4/10*Info(0,4)+4/10*Info(2,2)=0.6 =I-=0.8813-0.6=0.2213 >,故选取婚姻状况作为根节点进行分裂
简单粗暴理解与实现机器学习之K-近邻算法（十）：交叉验证，网格搜索（模型选择与调优）API、鸢尾花案例增加K值调优
12-22
文章目录K-近邻算法学习目标1.10 交叉验证，网格搜索1 什么是交叉验证(cross validation)1.1 分析1.2 为什么需要交叉验证**问题：那么这个只是对于参数得出更好的结果，那么怎么选择或者调优参数呢？**2 什么是网格...
简单粗暴理解与实现机器学习之K-近邻算法（十）：交叉验证，网格搜索（模型选择与调优）.zip
03-29
简单粗暴理解与实现机器学习之K-近邻算法（十）：交叉验证，网格搜索（模型选择与调优）.zip
简单粗暴理解与实现机器学习之神经网络NN（五）：神经网络案例DNN文本多分类——IMDB电影评论文本的神经网络分类
12-22
文章目录7.5 案例：DNN文本多分类学习目标7.5.1 IMDB电影评论文本的神经网络分类参数 7.5 案例：DNN文本多分类 学习目标 目标 无 应用 应用tf estimator完成文本分类 7.5.1 IMDB电影评论文本的神经网络分类 目的：对...
简单粗暴学习数据结构与算法——JS版（一）
06-13
用最轻捷的Javascript脚本 最朴素直白的程序用语 直接了当的企业面试题 抽丝剥茧 系统学习数据结构与算法 解决编程最基本的问题
回归决策树的构建
Jiansong_Shen的博客
04-19 681
回归决策树构建
【Leetcode】2007. 从双倍数组中还原原数组
weixin_43627638的博客
04-19 310
一个整数数组original可以转变成一个数组changed，转变方式为将original中每个元素加入数组中，然后将所有元素。给你一个数组changed，如果change是数组，那么请你返回original数组，否则请返回空数组。original的元素可以以顺序返回。
算法刷题-16
最新发布
qq_45773834的博客
04-21 638
学习来源： leetcode，牛客 https://programmercarl.com https://www.yuque.com/taxing-qarr6/hxitgt/dedugmp09knerdi1
DFS与回溯专题：路径总和问题
孤舟一叶～的博客
04-19 789
对二叉树进行dfs搜索，递归计算每条路径的节点值之和，当某个节点的左右子节点都为空时，说明已经搜索完成某一条路径，将它与目标值进行比较，若相等，则为true。路径恢复： 向上回溯前，需要将当前节点从路径 list 中删除，即执行list.remove(list.size() - 1)。为什么要写list_all.add(new ArrayList(list))，而不是list_all.add(list)？注意：解释里面的sum.add(path)就是list_all.add(list)
ID3算法，C4.5算法，CART算法表现如何
05-23
ID3算法、C4.5算法和CART算法都是决策树算法的代表性算法。 ID3算法是一种基于信息增益的贪心算法，其计算简单，但是在处理连续型属性和缺失值方面存在局限性，容易出现过拟合的情况。 C4.5算法是ID3算法的升级版，可以处理连续型属性和缺失值，同时采用了剪枝技术，减少了过拟合的风险，在实际应用中表现良好。 CART算法则是一种基于基尼指数的算法，用于解决分类和回归问题，既可以生成分类树，也可以生成回归树。CART算法可以处理连续型属性和缺失值，并且可以处理多分类和回归问题。 综上所述，这三种算法在决策树的构建和应用方面都具有各自的优缺点，选择哪种算法应该根据具体的问题和数据情况来决定。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值