Python机器学习：决策树003使用信息熵寻找最优划分

最新推荐文章于 2023-04-01 12:04:44 发布

范德彪陕西分彪

最新推荐文章于 2023-04-01 12:04:44 发布

阅读量228

点赞数

分类专栏： Python机器学习

本文链接：https://blog.csdn.net/weixin_46815330/article/details/111944963

版权

该博客探讨了如何利用信息熵作为标准来寻找决策树的最佳划分。通过加载鸢尾花数据集，建立了一个最大深度为2的决策树，并展示了决策边界。接着，模拟了信息熵的计算过程，用于划分数据集，找到最佳的特征和分割点，以降低数据的不确定性。最终，通过多次尝试，找到了最优的分割策略，实现了数据集的有效划分。

摘要由CSDN通过智能技术生成

#使用信息熵寻找最优划分
import numpy as np
import matplotlib.pyplot as plt

from sklearn import datasets
iris = datasets.load_iris()

X = iris.data[:,2:]
y = iris.target
y.shape

from sklearn.tree import DecisionTreeClassifier
dt_clf = DecisionTreeClassifier(max_depth = 2,criterion = "entropy")
dt_clf.fit(X,y)


def plot_decision_boundary(model, axis):

    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*100)).reshape(-1, 1),
        np.linspace(axis[2], axis[3], int((axis[3]-axis[2

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

范德彪陕西分彪

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python实现DescionTree决策树 --- 选择切分数据集的最佳特征

杨鑫newlife的专栏

11-07

2028

# 选择切分数据集的最佳特征 def choose_best_feature_to_split(self, data_set): num_features = len(data_set[0]) - 1 # 计算信息熵 base_entropy = self.calc_shannon_ent(data_set) #best_i...

模式识别与机器学习（Python实现）：决策树分男女

安静到无声

10-21

1816

欢迎大家来到安静到无声的《模式识别与人工智能（程序与算法）》，如果对所写内容感兴趣请看模式识别与人工智能（程序与算法）系列讲解 - 总目录，同时这也可以作为大家学习的参考。欢迎订阅，优惠价只需9.9元，请多多支持！

参与评论您还未登录，请先登录后发表或查看评论

python决策树回归代码_【Python机器学习】信息熵和在决策树中的运用（附源码）...

weixin_39789370的博客

12-19

291

查看之前文章请点击右上角，关注并且查看历史消息所有文章全部分类和整理，让您更方便查找阅读。请在页面菜单里查找。之前在【Python机器学习】系列五决策树非线性回归与分类(深度详细附源码)一期中，我们提到了用熵来度量信息的不确定性和信息增益。今天我们来详细解读一下什么是信息熵及其相关概念，以及如何进行信息增益的计算和它在decision tree中的运用。信息熵与热力学熵学过化学或热力学的同学...

机器学习-决策树（python）

qq_56424896的博客

11-14

3023

决策树(Decision Tree）是在已知各种情况发生概率的上，通过构成决策树来求取净现值的值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法,和C5.0生成树算法使用熵。这一度量是基于信息学理论中熵的概念。

Python机器学习：决策树1

最新发布

faltas的博客

04-01

496

决策树

Python编程实现基于信息熵进行划分选择的决策树算法

仰起脸笑得像满月

09-05

1万+

本篇是周志华老师的《机器学习》第4章 决策树 课后题4.3的实现，原题是：试编程实现基于信息熵进行划分选择的决策树算法，并为表4.3中数据生成一颗决策树。这里需要注意的是此数据集中，有的属性是离散的，有的属性是连续的，对于连续的属性，我们可以使用二分法将样本分为两个部分。这个数据集可以从Dataset.py中粘贴： def watermelon3(): """ ...

西瓜书《机器学习》---第四章 决策树python代码实现

06-21

4.3 编程实现基于信息熵进行划分选择的决策树算法，并为西瓜数据集3.0中的数据生成一颗决策树。 4.4 编程实现基于基尼指数进行划分选择的决策树算法，为西瓜数据集2.0生成预剪枝、后剪枝决策树，并与未剪枝决策树...

Python机器学习之决策树算法实例详解

09-21

学习决策树的过程主要涉及两个关键步骤：特征选择和树的生长。特征选择是决策树构建的关键环节，通常使用信息增益作为评价标准。信息增益（Information Gain）是衡量某个特征对数据集纯度（熵）减少的能力。熵是...

机器学习：决策树（使用信息熵寻找最优划分）

ab1213456的博客

08-14

1276

老师强调：作为计算机工程师，传统的算法和数据结构是最基础的内容，要掌握。一、节点数据集的划分　1）决策树算法的思想解决分类问题时，决策树算法的任务是构造决策树模型，对未知的样本进行分类； 决策树算法利用了信息熵和决策树思维： 信息熵越小的数据集，样本的确定性越高，当数据集的信息熵为 0 时，该数据集中只有一种类型的样本；训练数据集中有很多类型的样本...

【Python】决策树算法(DecisionTreeClassifier)——东北大学数据挖掘实训三

子浩的博客

12-26

1万+

1.利用决策树算法对train_feature.csv进行训练对test_feature.csv进行预测（练习调参）,并计算预测正确的准确率。（由于训练数据的数据分布不平衡，所以将数据进行平衡处理，正样本保留，负样本从原负样本中取出正样本数量的n倍）说明：准确率=（测试集中预测为下载）&（测试集中实际为下载）/测试集实际为下载的数据量 import pandas as pd from sk...

SVM算法实现手写数字识别(Sklearn实现)

热门推荐

分享实践与思考

08-04

2万+

1、Sklearn.svm学习数据集下载：trainingDigits训练集下载，testDigits测试集下载详细数据介绍参看：KNN算法实现手写数字识别 2、代码实现 # -*- coding: UTF-8 -*- import numpy as np from os import listdir from sklearn.svm import SV...

python选择最佳决策树参数

weixin_30947043的博客

07-25

532

# -*- coding: utf-8 -*- #导入数据 import pandas as pd data = pd.read_csv(r'E:\Python\machine learning\own\decision_tree\test.csv') X = data.ix[:,0:4].values y = data.ix[:,4].values #设置待选的参数 ...

python决策树怎么选择_Python决策树之基于信息增益的特征选择示例

weixin_32896083的博客

01-29

503

本文实例讲述了Python决策树之基于信息增益的特征选择。分享给大家供大家参考，具体如下：基于信息增益的特征选取是一种广泛使用在决策树(decision tree)分类算法中用到的特征选取。该特征选择的方法是通过计算每个特征值划分数据集获得信息增益，通过比较信息增益的大小选取合适的特征值。一、定义1.1 熵信息的期望值，可理解为数据集的无序度，熵的值越大，表示数据越无序，公式如下：其中H表示该数据...

Python生成信息熵决策树

Garson的博客

10-26

1175

使用Python生成信息熵决策树

百面机器学习——svm使用信息熵寻找最优划分

lzay的博客

02-27

377

使用信息熵寻找最优划分 import numpy as np import matplotlib.pyplot as plt from sklearn import datasets iris = datasets.load_iris() X = iris.data[:,2:] y = iris.target from sklearn.tree import DecisionTreeClas...

python计算决策树误差_基于sklearn决策树的最优分箱与IV值计算-Python实现

weixin_39711914的博客

11-20

1079

一、问题描述：在实际建模问题中，衍生加工许多特征变量之后，一般而言，首先需要对衍生变量的预测能力做一个快速、初步的评估。针对二分类问题，如信贷风险模型的好坏客户预测与评分，我们一般用IV值（Information Value）来衡量特征变量的预测能力，然后再筛选出IV值高于某个阈值的一篮子特征来进行下一步的建模工作。为了计算某个变量的IV，首先需要对其进行分箱。如果...

决策树——选择最好的划分方法之信息熵

tripleHu的博客

04-23

3112

决策树（Decision Tree）是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。训练数据如下表：根据训练数据集的数据，构造决策树 比如新发现一种动物，通过决策树就可以判断它是否是鱼

python决策树实例_机器学习中的决策树及python实例

weixin_39533742的博客

11-28

288

一棵树在现实生活中有许多枝叶，事实上树的概念在机器学习也有广泛应用，涵盖了分类和回归。在决策分析中，决策树可用于直观地决策和作出决策。决策树，顾名思义，一个树状的决策模型。尽管数据挖掘与机器学习中常常用到，本文将集中说明决策树及python的实现。如何将算法表示为树为此，让我们考虑一个非常基本的示例，该示例采用泰坦尼克号数据集（该数据机可直接在sklearn获得）。该模型使用数据集中的3个特征，即...