笔记：机器学习之决策树

最新推荐文章于 2022-05-01 16:11:08 发布
最新推荐文章于 2022-05-01 16:11:08 发布
阅读量481 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guangguyu/article/details/81174580
版权
本文详细介绍了决策树的学习过程，包括决策树概述、构建决策树的步骤（特征选择、生成决策树、剪枝）、如何用决策树预测鸢尾花的分类。通过实例展示了信息熵、信息增益、增益率、基尼系数等概念，以及预剪枝和后剪枝策略，以提升决策树的泛化性能。
摘要由CSDN通过智能技术生成

目录

 

决策树概述

决策树的构建

特征选择

生成决策树

剪枝

特征选择

生成决策树

剪枝

用决策树对鸢尾花的预测

决策树概述

决策树（decision tree）是功能强大的且非常好用的的分类和预测方法，它是一种有监督的学习算法。以树状图为基础，故称为决策树。这里以分类为主题。对于离散值，决策树中的每一个非叶节点都是数据的一个特征，叶节点是数据的分类，决策树从根节点沿着不同的特征分支最终到达叶节点。

无

决策树的构建

决策树的构建主要分为3大步骤

  • 特征选择

  • 生成决策树

  • 剪枝

特征选择

特征选择就是选取有较强分类能力的特征，其评判标准主要有信息增益、信息增益率和基尼系数来判定。

熵

熵是度量数据纯度最常用的一种指标。假设，样本集合D中的第k类样本的概率是{p_k{}^{}}(k=1,2,3...|y|),则D的信息熵为

                                                                  E(D)=-\sum_{k=1}^{|y|}{p_klog_2}p_k

E(D)值越小则数据纯度越高

条件熵

 

 

                                                                             E(D∣A)

表示在给定特征A的条件下，D的条件熵

 

                                                       E(D|A)=\sum_{i=1}^{n}P_A(A=a_i)E(D|A=a_i)                    

其中

                                                          P_A(A=a_i)=\sum_{D}^{ }P(A=a_i,D)

信息增益

信息增益表示：已知集合D的经验熵E(D)，给定特征A下D的经验条件熵为E(D∣A)的差

最低0.47元/天 解锁文章
guangguyu
关注
机器学习之决策树总结
wh1312142954的博客
09-19 583
本文只针对决策树的细节问题。 1、信息熵 熵定义为信息的期望值，熵越高代表一个事物的状态越混乱，因此信息越多。如果待分类的事物可能划分在多个类之中，则符号 的信息量定义为：   , 其中， 是选择该分类的概率。 为了计算熵，我们需要计算所有类别所有可能值所包含的信息期望值，通过下式得到：   其中，随机变量的不确定性越大，熵就越大。 2、条件熵 条件熵  表示在已知随机变量  的条...
机器学习系列文章-决策树
hezhing
01-24 1459
决策树 由于我们是使用sklearn对决策树代码进行实现，所以并不是很关心其原理部分。但我仍需要对其进行一定的了解。通过查询资料，去学习了下决策树的原理，这里对其原理进行简要介绍。 注：这里决策树的原理是通过这个网站来学习的，这里只做记录。 机器学习实战教程（二）：决策树基础篇之让我们从相亲说起 (cuijiahua.com) 决策树原理 决策树是一种基本的分类与回归方法。决策树可以这样理解为：由决策树的根结点到叶结点的每一条路径构建一条规则，路径上内部结点的特征对应着规则的条件，而叶结点的类对应规则的
机器学习论文：《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》
guangyacyb的博客
03-22 3217
翻译自《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》 摘要 Gradient Boosting Decision Tree (GBDT) is a popular machine learning algorithm, and has quite a few effective implementations...
机器学习算法学习02：决策树的学习以及应用决策树解决Cora数据集论文分类问题
theworld666的博客
10-26 1243
机器学习03：决策树的学习以及应用决策树解决Cora数据集论文分类问题 文章目录机器学习03：决策树的学习以及应用决策树解决Cora数据集论文分类问题1.前言2.算法分析2.1算法概述2.2 算法优化3.算法代码3.1 决策属性优先级选择3.1.1 信息熵3.2.2 信息增益率3.3.3 基尼系数3.2 数据集的预处理3.3 决策树的生成3.4 决策树的分类4.算法运行与评估4.1 使用信息增益来划分数据集4.2 使用信息增益率划分数据4.3 使用基尼指数划分数据5.结语 1.前言 决策树方法作为非常经典的
机器学习历程——人工智能基础与应用导论（7）（决策树——实战2——分类决策树）
xllzuibangla的博客
05-01 220
1、导入包 import numpy as np from sklearn.tree import DecisionTreeClassifier from sklearn import datasets from sklearn import model_selection import matplotlib.pyplot as plt 2、导入数据 采用鸢尾花数据集。鸢尾花数据集一共有150个数据,这些数据分为3类(分别为setosa，versicolor,virginica),每类50个数据。.
R语言笔记：机器学习【决策树（Decision Tree】
LdyInG_的博客
12-13 5650
写在开头： 我是一个学R的小白，因为读研老师要求开始接触R。 记一记笔记留给自己以后回顾，顺便分享出来嘻嘻。 我把需要深入的的函数进行介绍~方便了解这些函数的用法，一些简单的函数我就不放出来啦 决策树这部分的笔记主要是利用分类回归法哈 rpart()函数 用于建立分类回归树，使用前library(rpart)。 格式 rpart(输出变量~输出变量，data=,method=,parms=list...
机器学习-西瓜书学习笔记-第四章决策树及代码
最新发布
08-13
1. 划分选择：决策树学习中，选择最优划分属性是关键。这涉及到如何度量样本集合的纯度，以及如何根据属性划分样本集合。 - 信息熵：信息熵是度量样本集合纯度的一种指标 - 信息增益：使用属性进行划分所获得的...
笔记本：机器学习材料
02-11
2. **算法**：常见的机器学习算法如线性回归、逻辑回归、决策树、随机森林、支持向量机（SVM）、K-近邻（KNN）、朴素贝叶斯、神经网络和深度学习模型等。 3. **数据预处理**：数据清洗、缺失值处理、异常值检测、...
机器学习-决策树视频教学
06-09
总的来说，这个机器学习决策树视频教学课程是一个全面且实用的学习资源，它将引导你从基础知识到实战技巧，让你能够在人工智能领域熟练运用决策树算法。无论是对机器学习感兴趣的初学者还是希望进一步提升技能的专业...
息管理与信息系统 决策树(文献翻译-节选) 中英文.doc
03-18
（一）外文文献译文 1 4 决策树 1 4.1 介绍 1 4.2 决策和模式分类 2 4.2.1 统计模式分类 2 4.2.2使用逻辑相互关系 3 4.3 决策域 5 …… 4.6决策树实例 6 （二）外文文献原文 11 4 Decision Trees 11 4.1 Introduction 11 4.2 Decision-Making and Pattern Classification 14 4.2.1 Statistical Pattern Classification 14 4.2.2 Use of Logical Inter-relationships 15 4.3 Decision Regions 17 …… 4.6 Decision Tree Examples 19
关于统计机器学习的一些文献
03-22
关于统计机器学习的一些文献，介绍了机器学习领域的最新进展，包括半监督学习的一些介绍
c5.0决策树算法_决策树与随机森林（5）—— 应用决策树算法的13篇文献解读
weixin_39899244的博客
11-23 529
前面我们一共啰嗦了四期：决策树与随机森林(1)—— 决策树算法数学推导与实例演练推导决策树的原理。决策树与随机森林(2)—— 用R种树和画树用R语言实现决策树的构建和绘图。决策树与随机森林(3)—— 决策树的剪枝和C4.5算法聊了决策树的剪枝和明星算法C4.5。决策树与随机森林(4)—— 决策树C5.0算法讲解了C4.5的加强版C5.0.刀磨好了，可是如何来用呢？这期就来简单解...
机器学习中决策树浅析
u014675538的博客
08-21 731
引言在本文中主要分析了决策树的相关知识，主要包含了决策树的原理分析、数学公式。首先了解到决策树是用来分类。分类问题不仅是一个普遍存在的问题，而且是其他更加复杂的决策问题的基础，更是机器学习和数据挖掘技术中最庞大的一类算法家族。决策树概念这里借用周志华西瓜书的一个例子，例如当我们拿到一个西瓜时，有颜色、根底好坏、敲打发出的声响等特征（这里的每一个特征就是一个西瓜的属性），通过一定的规则判断首先使用哪个
系统学习机器学习之决策树
ctrigger的专栏
05-09 444
决策树是一种实现分治策略的层次数据结构，它是一种有效的非参数学习方法，可以用于分类和回归。本节我们来简单介绍决策树的相关知识。 什么是决策树 单变量树 单变量分类树 剪枝 由决策树提取规则 一、什么是决策树 决策树（decision tree）是一种用于监督学习 的层次模型，通过这种特殊的层次模型，局部区域可以通过少数几步递归分裂确定。决策树由一些内部...
【机器学习】统计学习方法之决策树理解摘要
feng_zhiyu的博客
09-13 545
参考博文：决策树之理解ID3算法和C4.5算法 下面是个人对决策树部分算法的摘要 后面会有sklearn或者使用python实现算法，更新中…… 参考资料： 《统计学习方法》李航著...
斯坦福大学机器学习教程笔记：机器学习技术与实践
6. 机器学习的算法：机器学习的算法有很多，包括线性回归、逻辑回归、决策树、随机森林、支持向量机、神经网络等。 7. 机器学习的挑战：机器学习的挑战包括过拟合、欠拟合、 Curse of Dimensionality等。 8. 机器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值