决策树

最新推荐文章于 2022-04-21 22:28:04 发布
最新推荐文章于 2022-04-21 22:28:04 发布
阅读量339 收藏 1
点赞数

决策树(Decision Tree)

每个节点上对某个特征进行判断，根据结果转向某个分支，如图是一个决策树示意图，每个节点根据某个条件分裂节点

1.在Python中调用决策树算法
from sklearn import tree
#决策树分类
dt=tree.DecisionTreeClassifier()
#决策树回归
dt=tree.DecisionTreeRegressor()
2.iris数据集上应用决策树分类
from sklearn import tree
#设定X，y值
features=[ 'SepalLengthCm', 'SepalWidthCm', 'PetalLengthCm']
X=iris[features]
from sklearn.preprocessing import LabelEncoder
le=LabelEncoder()
le.fit(iris[ 'Species'])
y=le.transform(iris[ 'Species'])
#设定模型
dt=tree.DecisionTreeClassifier()
#训练模型，并得到准确率
from sklearn.model_selection import cross_val_score
score=cross_val_score(dt,X,y,cv= 5,scoring= 'accuracy')
print(np.mean(score))
#和KNN分类的结果进行比较，你会发现什么结论？
3.iris数据集上应用决策树回归
from sklearn import tree
#重新设定X，y值,回归对象是iris花的PetalWidthCm
features=[ 'SepalLengthCm', 'SepalWidthCm', 'PetalLengthCm']
X=iris[features]
y=iris[ 'PetalWidthCm']
#设定决策树回归的模型
dt=tree.DecisionTreeRegressor()
from sklearn.model_selection import cross_val_score
scores=-cross_val_score(dt,X,y,scoring= 'neg_mean_squared_error')
print(np.mean(scores))
#复习之前的课程中关于linear regression的内容，比较KNN回归、线性回归的结果和决策树回归的结果有什么不同

随机森林

随机森林算法可以用于解决分类和回归问题，在决策树的基础上，引入了多棵决策树，并综合所有决策树，根据少数服从多数（majority voting）或者求平均值等原则，得出结果，下图是随机森林的示意图:

一般而言，随机森林的分类和回归的效果会比KNN、Decision Tree更好

集成学习：构建多个模型，使用某种策略将多个结果集成起来，作为最终结果，随机森林也属于集成学习，随机森林回归可以通过对各个模型结果加权平均得到结果，随机森林分类可以通过majority voting原则来决定结果

1.Python调用随机森林算法
from sklearn import ensemble
#随机森林分类
rf=ensemble.RandomForestClassifier(决策树数)
#随机森林回归
rf=ensemble.RandomForestRegressor(决策树数)
rf.fit(X,y)
2.iris数据集上应用随机森林分类
from sklearn import ensemble
#设定随机森林分类模型
rf=ensemble.RandomForestClassifier( 10)
from sklearn.model_selection import cross_val_score
#随机森林分类,X,y可以根据你想探究的字段之间的关系进行设置
features=[ 'SepalLengthCm', 'SepalWidthCm', 'PetalLengthCm']
X=iris[features]
from sklearn.preprocessing import LabelEncoder
le=LabelEncoder()
le.fit(iris[ 'Species'])
y=le.transform(iris[ 'Species'])
#评估分类模型性能
score=cross_val_score(rf,X,y,cv= 5,scoring= 'accuracy')
print(np.mean(score))
#随机森林的计算时间和决策树（基分类器）的数量成正比，尝试调整随机森林中的决策树的数量，看看分类的准确率是如何变化的
#将结果和KNN、DecisionTree分类的结果进行比较，看看你能得出什么结论
3.iris数据集上随机森林回归
from sklearn import ensemble
#设定随机森林回归模型
rf=ensemble.RandomForestRegressor( 10)
#随机森林分类,X,y可以根据你想探究的字段之间的关系进行设置
features=[ 'SepalLengthCm', 'SepalWidthCm', 'PetalLengthCm']
X=iris[features]
y=iris[ 'PetalWidthCm']
#评估模型性能
score=-cross_val_score(rf,X,y,cv= 5,scoring= 'neg_mean_squared_error')
print(np.mean(score))
#随机森林的计算时间和决策树（基分类器）的数量成正比，但是基分类器的数量和结果准确率却不一定成正比，尝试调整随机森林中的决策树的数量，看看分类的准确率是如何变化的
#将结果和KNN、DecisionTree分类的结果进行比较，看看你能得出什么结论

决策树(Decision Tree)

每个节点上对某个特征进行判断，根据结果转向某个分支，如图是一个决策树示意图，每个节点根据某个条件分裂节点

1.在Python中调用决策树算法
from sklearn import tree
#决策树分类
dt=tree.DecisionTreeClassifier()
#决策树回归
dt=tree.DecisionTreeRegressor()
2.iris数据集上应用决策树分类
from sklearn import tree
#设定X，y值
features=[ 'SepalLengthCm', 'SepalWidthCm', 'PetalLengthCm']
X=iris[features]
from sklearn.preprocessing import LabelEncoder
le=LabelEncoder()
le.fit(iris[ 'Species'])
y=le.transform(iris[ 'Species'])
#设定模型
dt=tree.DecisionTreeClassifier()
#训练模型，并得到准确率
from sklearn.model_selection import cross_val_score
score=cross_val_score(dt,X,y,cv= 5,scoring= 'accuracy')
print(np.mean(score))
#和KNN分类的结果进行比较，你会发现什么结论？
3.iris数据集上应用决策树回归
from sklearn import tree
#重新设定X，y值,回归对象是iris花的PetalWidthCm
features=[ 'SepalLengthCm', 'SepalWidthCm', 'PetalLengthCm']
X=iris[features]
y=iris[ 'PetalWidthCm']
#设定决策树回归的模型
dt=tree.DecisionTreeRegressor()
from sklearn.model_selection import cross_val_score
scores=-cross_val_score(dt,X,y,scoring= 'neg_mean_squared_error')
print(np.mean(scores))
#复习之前的课程中关于linear regression的内容，比较KNN回归、线性回归的结果和决策树回归的结果有什么不同

随机森林

随机森林算法可以用于解决分类和回归问题，在决策树的基础上，引入了多棵决策树，并综合所有决策树，根据少数服从多数（majority voting）或者求平均值等原则，得出结果，下图是随机森林的示意图:

一般而言，随机森林的分类和回归的效果会比KNN、Decision Tree更好

集成学习：构建多个模型，使用某种策略将多个结果集成起来，作为最终结果，随机森林也属于集成学习，随机森林回归可以通过对各个模型结果加权平均得到结果，随机森林分类可以通过majority voting原则来决定结果

1.Python调用随机森林算法
from sklearn import ensemble
#随机森林分类
rf=ensemble.RandomForestClassifier(决策树数)
#随机森林回归
rf=ensemble.RandomForestRegressor(决策树数)
rf.fit(X,y)
2.iris数据集上应用随机森林分类
from sklearn import ensemble
#设定随机森林分类模型
rf=ensemble.RandomForestClassifier( 10)
from sklearn.model_selection import cross_val_score
#随机森林分类,X,y可以根据你想探究的字段之间的关系进行设置
features=[ 'SepalLengthCm', 'SepalWidthCm', 'PetalLengthCm']
X=iris[features]
from sklearn.preprocessing import LabelEncoder
le=LabelEncoder()
le.fit(iris[ 'Species'])
y=le.transform(iris[ 'Species'])
#评估分类模型性能
score=cross_val_score(rf,X,y,cv= 5,scoring= 'accuracy')
print(np.mean(score))
#随机森林的计算时间和决策树（基分类器）的数量成正比，尝试调整随机森林中的决策树的数量，看看分类的准确率是如何变化的
#将结果和KNN、DecisionTree分类的结果进行比较，看看你能得出什么结论
3.iris数据集上随机森林回归
from sklearn import ensemble
#设定随机森林回归模型
rf=ensemble.RandomForestRegressor( 10)
#随机森林分类,X,y可以根据你想探究的字段之间的关系进行设置
features=[ 'SepalLengthCm', 'SepalWidthCm', 'PetalLengthCm']
X=iris[features]
y=iris[ 'PetalWidthCm']
#评估模型性能
score=-cross_val_score(rf,X,y,cv= 5,scoring= 'neg_mean_squared_error')
print(np.mean(score))
#随机森林的计算时间和决策树（基分类器）的数量成正比，但是基分类器的数量和结果准确率却不一定成正比，尝试调整随机森林中的决策树的数量，看看分类的准确率是如何变化的
#将结果和KNN、DecisionTree分类的结果进行比较，看看你能得出什么结论

ailinglingde
关注
第4章 决策树（算法原理+手编实现+库调用）
gengli2017的博客
04-29 1801
俯视机器学习 第4章 决策树 1. 概述 通过多次判断，建立树形结构。 问题： 每次判断中选择什么属性？ 基本术语： 纯度 2. 基尼系数、熵、信息增益 基尼值：某事件有 KKK 种取值，每种取值概率为 pi,i=1,...,Kp_i, i=1,...,Kpi​,i=1,...,K 。则其基尼值（基尼不纯度）为 G(p)=∑i=1Kpi(1−pi)=1−∑i=1Kpi2 G(p) = \sum_{i=1}^K p_i (1- p_i) = 1 - \sum_{i=1}^K p_i^2 ...
机器学习一【决策树】
weixin_43188487的博客
12-04 1206
决策树1. 概述1.1 决策树是如何工作的1.2 sklearn中的决策树2. DecisionTreeClassifier与红酒数据集2.1 重要参数2.1.1 criterion2.1.2 random_state & splitter2.1.3 剪枝参数 1. 概述 1.1 决策树是如何工作的 决策树（Decision Tree）是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。 决策树算法容易理解，适用各种数
【机器学习算法笔记系列】决策树(Decision Tree)算法详解和实战
Mr_Robert的博客
03-31 1万+
决策树(Decision Tree)算法 算法概述 本文主要介绍机器学习中的决策树模型。决策树模型是一类算法的集合，在数据挖掘十大算法中，具体的决策树算法占有两席位置，即C4.5和CART算法。决策树是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。同时也特别适合集成学习比如随...
机器学习之决策树（实战）
weixin_47166032的博客
08-15 1489
决策树什么是决策树信息增益-熵，基尼指数建树策略实战树的可视化 什么是决策树 决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果，类似于数据结构中的树。决策树是一个非常成熟的算法，最常用的三种决策树算法是ID3,C4.5,CART(Classification and Regression Tree)。这三种算法的区别是：ID3是利用信息增益来选择特征的。而C4.5，它是 ID3 的改进版，不是直接使用信息增益，而是引入“信息增益比”指
机器学习，决策树
qq_36530187的博客
04-21 2860
机器学习，决策树学习，仅做记录使用，如有不对请指正
机器学习+决策树+python实现对率回归决策树
04-28
对于正确率相同的节点，选取优先遍历的属性作为根节点，与基于信息增益进行划分选择的方法相比，可知两种方法绘制的决策树正确率均为100%，但对率回归方法容易忽略在同一正确率下划分较佳的节点，从而使决策树层数...
决策树实验内容2
08-08
在本次"决策树实验内容2"中，我们将深入探讨决策树这一重要的机器学习算法，主要分为以下几个部分： **1.1 决策树处理分类任务** 在这个环节，我们将使用`sklearn.tree.DecisionTreeClassifier`来解决Dota2比赛...
Matlab实现决策树算法
最新发布
02-27
Matlab实现决策树算法，使用ID3_2函数并设计了十指交叉验证，可显示每一次的模型精度。资源提供类一个数据集用于模型训练，将之直接替换为自己的数据即可运行。最终的决策树建立结果以画图的形式表示，并且为每一类...
基于决策树的鸢尾花分类
04-21
【基于决策树的鸢尾花分类】 决策树是一种广泛应用的机器学习算法，尤其适用于分类问题。在本案例中，鸢尾花的分类是基于决策树模型进行的。鸢尾花有三个不同种类：Iris Setosa (Se)，Iris Versicolour (Ve)，和 ...
决策树实现对鸢尾花分类
07-15
决策树是一种广泛应用于数据挖掘和机器学习的算法，它的核心思想是通过一系列的规则划分，将数据集分割成不同的类别。在这个案例中，我们将详细探讨如何利用Python来实现决策树对鸢尾花数据集的分类，并对其进行可视...
python sklearn.tree.DecisionTreeClassifier() 函数
Dontla的博客
07-30 796
引用
决策树实现
chbxw
04-27 625
决策树理论 1.1、计算信息熵（经验熵） # 计算给定数据集的熵 def calc_shannon_entropy(data_set): # 数据集行数 num_entries = len(data_set) # 类标签 字典 label_counts = {} # 遍历数据集, 记录每个标签的数量 for feat_vec i...
机器学习——决策树，DecisionTreeClassifier参数详解，决策树可视化查看树结构
小火的博客
08-26 3669
决策树 　　决策树是一种树型结构，其中每个内部节结点表示在一个属性上的测试，每一个分支代表一个测试输出，每个叶结点代表一种类别。 在书面的代码中，为了可视化的方便，我们采用特征组合的方式，将鸢尾花的四个两两进行组合，分别建立决策树模型，并对其进行验证。 　　DecisionTreeClassifier(criterion='entropy', min_samples_leaf=3)函数为创建一个决策树模型，其函数的参数含义如下所示： criterion：gini或者entropy,前者是基尼系数，后
模型融合方法：Voting/Averaging、Stacking、Boosting和Bagging。
Akita·Wang's Semantic Segmentation
04-12 3373
一般来说，通过融合多个不同的模型，可能提升机器学习的性能，这一方法在各种机器学习比赛中广泛应用，比如在kaggle上的otto产品分类挑战赛①中取得冠军和亚军成绩的模型都是融合了1000+模型的“庞然大物”。 常见的集成学习&模型融合方法包括：简单的Voting/Averaging（分别对于分类和回归问题）、Stacking、Boosting和Bagging。 -->Voting/Averaging 在不改变模型的情况下，直接对各个不同的模型预测的结...
决策树的简单应用
www_buzhidao的专栏
05-30 2336
决策树（Decision Tree）是一种简单但是广泛使用的分类器。
决策树(Decision Tree) | 算法实现
Data Hero
09-22 4259
01 起 决策树相关的理论知识，我们在这篇文章中有详细讲解。 今天我们基于决策树原理，写一个函数来训练决策树吧。本文基于ID3算法构建决策树，此算法构建决策树的中心思想是： 始终寻找信息增益最大的特征作为当前分支的最优特征 信息增益，即：g(D,A)=H(D)-H(D|A) 02 实现思路(ID3) 利用训练数据，训练决策树，主要思路如下，共8个步骤，重点在于递归： 自定义信息熵计算函数...
python实现决策树的保存和调用
sayasora的博客
09-23 2743
总目录：Python数据分析整理 本文数据以及大部分代码来自《机器学习实战》 机器学习实战 决策树的保存和调用决策树的保存和调用 决策树的保存和调用 前面讲到将训练的决策树绘制成简单易懂的图片， trees.py下的代码 def classify(inputTree, featLabels, testVec): print(featLabels) firstStr = list(inputTree.keys())[0] secondDict = inputTree[firstS
决策树原理及Python代码实现
热门推荐
Flying_sfeng的博客
04-04 3万+
决策树其实就是按节点分类数据集的一种方法。在本文中，我将讨论数学上如何使用信息论划分数据集，并编写代码构建决策树。 创建决策树进行分类的流程如下： （1）创建数据集 （2）计算数据集的信息熵 （3）遍历所有特征，选择信息熵最小的特征，即为最好的分类特征 （4）根据上一步得到的分类特征分割数据集，并将该特征从列表中移除 （5）执行递归函数，返回第三
决策树学习算法详解
"决策树是一种基于特征的实例分类器，它通过一系列特征测试来做出决定，最终达到分类的目的。这种算法可以处理离散和连续的属性值，并且能够处理缺失值和噪声数据。基本的决策树构建算法是自顶向下的递归过程，以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值